曾经我犯下了错，和一男在一起生了一个女孩，没有领证。后来我爸妈不同意，我也在爸妈的劝说下醒悟。最后离开了他们，那男的说以后不会再打扰我的生活。过了几年我结婚了，有了自己的生活，可是他却回来故意找我麻烦，我该怎么办？