Автор, Ваш бывший любовник слабак. Может изменять жене, но не может нормально расстаться с любовницей, все сопли-слюни какие-то.
Жену он любит, иначе не стал бы так трястись за семью. Тот, кто хочет реально уйти, не смотрит на детей, с детьми можно продолжать общаться, даже через суд, если жена будет запрещать.
Видимо, жена ему хорошенькую встряску устроила и мозги на место поставила, поэтому он стал такой образцово-показательный. К Вам его тянет, но не более того. Примите тот факт, что у него есть семья, и выбрал он семью, а не Вас, корректно попросив оставить его в покое.
Вы почему от него не отстаете? Зачем Вы отвечаете на его звонки и ведетесь на его провокации? Ладно, он головой не думает, взбрело ему в голову написать Вам, он и пишет, а Ваше самоуважение где? И зачем к нему домой ехать? Чтобы рассказать все его жене? Так она, наверняка, знает, судя по тому, что от Вас продыху нет и после расставания.
Вам мужчина помог финансово при расставании, Вы собрали сливки, все) "Ариведерчи, Вась", - надо ему сказать, и пытаться строить нормальные, здоровые отношения с другим мужчиной, желательно не женатым

Ну так мало кто свою истинную натуру показывает на свиданиях, да и в первый год жизни. Это только отморозки сразу показывают, что они и отлупить могут женщину, если им что не понравится.
Возможно, они слишком быстро поженились, и быстро родили ребенка, автор в муже и разобраться-то не успела...

Согласна с тем, что это просто неудачный комплимент.
Думать-то он, конечно, может. Но думать и делать - и правда, разные вещи.
На пустом месте накручивать себя точно не стоит, и копать в эту сторону тоже. Если будут реальные подозрения, можно будет спросить в лоб.
Не думаю, что родственники мужа такие дураки, чтобы его так подставлять. Да и не все родственники знают, есть у кого любовница или нет.

Автор, тут решать вопрос только Вам и Вашему мужу, садиться за стол переговоров и выяснять, будете оставлять ребенка или нет, будете продолжать вместе жить или нет, и что он готов для этого делать.
Объективно:
1. Муж не работает в настоящий момент, получает декретное пособие. С двумя детьми на эти пособия будет тяжело прожить.
2. Муж пьет, что не способствует здоровой ситуации в семье.

Ребенок-то для кого нежеланный? Для Вас, для мужа или для Вас обоих?
Что муж-то вообще говорит? Что вообще предлагает? Вы сама чего хотите?