разводиться или дальше жить

Живем с мужем уже три года, недавно родилась дочь. Муж бизнесмен типа, все три года налаживает бизнес, то одно то другое - денег то пусто,то густо. Если густо,то все в бизнес или на зарплату рабочим уходит. Я работала на трех работах - в школе на две ставки и репетиторством. Начались вдруг с сексом проблемы - не хочет, а потом вобще заявил - меня все возбуждают кроме тебя. Обиделась - ушла, он за мной не бегал, пока сама не настояла на встрече по делу. Вернулась, простила, забеременела, хотя до этого не могла, а он к тому ж мне еще и говорил,что все дело во мне так как у него случаи беременности были уже. Короче, заставила купить квартиру, все время до родов жили голову моих родителей на мои отпускные. Внимания опять от него ноль,хотя ребенка хотел. А после родов как вернулась,он вдруг воспылал,да мне нельзя, потом когда отошла у него опять влечение пропало. Короче, денег дает только после напоминания, внимание не уделяет - вроде как работы много, секса нет, я решила уйти. А он мне говорит, что я бессеребреница, квартиру тебе с ребенком не отдам, буду только с вами там жить, но в разных комнатах, ты типа меня развела на ребенка и квартиру а семья тебе не нужна. И вобще за мой счет живешь. А сам я хочу семью сохранить. Что делать ?