Взрослый мужчина с детьми

Мне 25 лет. У меня не было брака и нет детей. В отношениях с мужчиной старше меня на 10 лет. 2 года назад он развелся, так скажем, я стала причиной развода. У него 2 детей. Бывшая жена хочет его вернуть. Она приглашает его домой под предлогом «отметить успехи детей». Сидят они всегда насколько я знаю вместе с детьми. На мои слова, мол мне это неприятно, он отвечает что в этом ничего такого нет, это его дети. Что делать-не знаю. Отпустить его или успокоиться и сидеть ровно на ****? Я его люблю и он меня любит тоже, опережая всевозможные вопросы почему я с ним.