муж сказал что не хочет приходить домой

Я в полном отчаянии! С мужем у нас 15 лет разницы, он долго меня добивался, я покорилась но как мы начали жить вместе я была в ужасе от того как он гуляет. Я конечно понимала что он долго был холостым поэтому давала ему время привыкнуть к семье и нагуятся. Всю беременность он периодически прогуливал (выпивал), в том числе и с коллегами по работе женского пола, уверяя меня что там ни чего не было они просто пили, я всему верила и прощала. В какой-то перио когда уже все было в начале после очередного скандала он правда изменился и стал приходить выпевший намного реже. И тут я родила, мы вроде как счастливые родители, он мне помогает и поддерживает меня, я тоже стараюсь ему максимально уделять внимание что бы он не чувствовал себя обделённым. И тут вдруг уже три дня подряд он приходит заполночь, пьяный и когда я спросила что это вообще такое, он мне сказал что он дома себя чувствует лишним, что его ни кто не ждёт. Блин так обидно, я со всех сил стараюсь и ребенком заниматься и ему время уделить, а он домой ходить не хочет. И что делать? Я не хочу разрушать семью, да и он говорит что любит меня но домой идти не хочет., Разве так может быть? Я правда уже просто в отчаянии