Ночует у бывшей жены, с которой расстались еще до меня

Он познакомился со мной 4 года назад, ему было 37, мне 35. За полгода до нашего знакомства они разошлись с бывшей женой (были вместе 15 лет). То есть, я не была причиной. Он был уже давно свободен и активен в знакомствах. На меня сразу запал, как он говорит, что я 100 из 10 его типаж. Долго сомневалась, связываться ли. Но он активно от меня не отставал, смс, звонки, его желание видеть меня. В итоге влюбилась. И сильно. За эти 4 года было много всего, но всегда он возвращался, уже и не счесть сколько раз. Был момент, что уходил к другой (дочь его начальника), через год она его бросила. Пришел ко мне. Я была непреклонна, но он убедил меня, что я нужна ему. Год назад у него начались проблемы с потенцией, сильно переживает по этому поводу. Но все-равно был со мной, использовал другие методы, лишь бы доставить мне удовольствие (оральный секс).
Казалось бы, наконец-то все наладилось и эти качели прекратились. Но вдруг сегодня я узнаю, что он уже 3 дня ночует у бывшей жены, так как дети поступают в институты (17 лет детям). Причем, она с ним вообще никак не контактировала около 2-х лет, только сухо по детям. Сижу в шоке. Как раз эти три дня он вообще не пишет. В голове куча мыслей послать его уже навсегда. Но гложет мысль, вдруг он просто там, как отец, так как он говорил, что они давно уже как родственники. Неужели он все это время шкребался к ней и она его простила??? Что мне делать?
Одно дело, если бы я увела его когда-то, но ведь нет, он был уже свободен. И вот те на. Шкребется в старую семью, которую предал когда-то и она его не прощала 2 года... Знаю, что если снова поссорятся - будет писать мне. Учитывая его проблемы, точно не для секса, у нас он только оральный (с его стороны). Но ему вот важно, чтобы я любила его, постоянно мне это говорит - «ты меня сильно любишь, я вижу это» (даже, когда мы надолго расставались и я его никак не беспокоила, в итога сам появился). Как вылезти из этой энергетической паутины? Ощущение, будто он жрет меня морально