我40岁却和一个50几岁女人纠缠不清，该怎么办？