Уйти или остаться, вот в чем вопрос

Добрый день. Помогите разобраться в себе...Мне 28 лет. Живу с мужем почти 4 года. Выходила замуж не по большой любви, а потому что человек внушал доверие,
говорил как любит… я чувствовала себя как за каменной стеной. Пол года назад узнала о измене(его отношения на стороне длились больше чем пол года), он наговорил много обидных слов… Оказалось, что женился на мне не по любви, а потому что я «адекватная» и ему хотелось детей(детей у нас так и нет, был выкидыш полтора года назад). Я пыталась уйти 3 раза, но проходит неделя и он меня возвращает (возвращаюсь, кажется из жалости, меня почему-то волнует то, как ему будет сложно без меня в бытовом плане). Если я завожу разговор о нашей «семье», говорю, что мне не хватает внимания, общения, близости какой-то(причем и морально и физически)он говорит только что это мои внутренние проблемы и решать нужно их мне, он к этому отношения не имеет. Помимо этот, в порядке вещей говорить мне что у нас нет ничего общего, я не мудрая женщина, не интересная, живем как соседи… а на вопрос зачем такая жизнь нужна, ответ -живем и живем, что тебя не устаивает? При всем этом всем говорит, что любит и хочет детей.У меня уже каша в голове, я не могу понять его поведение. Хочу закончит эти отношения, но что-то мешает…учитывая тот момент, что в моей жизни появился мужчина, который меня во все поддерживает, понимает...и вообще я не представляю свою жизнь без него. Ощущение, что я нашла своего человека, но еще не много и я его потеряю, если не уйду от мужа.
Нужен взгляд со стороны, может это поможет мне решиться...