我现在很难受，心里真的不是滋味，不知道该怎么去做，才能做好

我是离婚的男人，现在找了一个也是离婚的女士，开始我们很好。可是因为她每周都会回去看孩子，我心里很不舒服，我不反对她去看孩子，可是开始就说好了，搁一周去看孩子一次，结果每周都去。现在他可能不想和我在一起了，想提出分手，可是房子已经在装修了。我该怎么办啊，好烦躁！！！！！！！