Автор, а почему он от любовницы ушел? Она его бортанула? Или он сравнил ее и вас и решил вернуться?

Я присоединяюсь к тем, которые говорят, что теперь условия должны ставить вы.

А то что получается - вас оскорбляли (не такая вы как надо, плохая нехорошая, нелюбимая), теперь опять оскорбляют (живу ради детей), а потом ему вожжа под хвост попадет и он опять уйдет? Это вы ему скажите, что живу с тобой ради детей, а что дальше будет, не знаю. Посмотрю на твое поведение.