Вместе плохо и без него тоже плохо

здравствуйте, мы с мужем 5 лет вместе , дочке 3 года, характеры у обоих сложные, была влюбленность сильная у нас в начале, или у меня , я не знаю, мой муж говорил мне что вообще любить не может, в начале я не придала этому значения, я вообще не поверила , что такое может быть. Жили мы по разному , в основном интересно , насыщенно, много путешествовали, когда родилося ребенок пришлось осесть на месте, и тут у нас начались жуткие скандалы, он постоянно критикует меня, его благосклонности как будто нужно добиваться, такое ощущение, все время либо недовольный либо обиженный. Очень тяжело было , в декрете, еле выдержала.У него проблемы на работе начались, а он привык к хорошему уровню жизни и по самолюбию бьет, то что он не может нас толком содержать, в общем еще одно недовольство и это все сказывается на наших отношениях. Мы полгода живем у меня, в последний раз очень сильно поругались я уже доходила до грани, был срыв, он ушел, не было 2 недели, пришел на дочкин день рождения, в итоге меня игнорирует с дочкой общается , он постоянно ждет что я пойду первая на примирение, от меня ждет первый шаг всегда! как будто я по умолчанию виновата. Я устала добиваться его " любви" мне очень трудно, что делать расходится или остаться с ним? может чтото я не то делаю??