Нужен совет в своей Жизненной истории.

Помогите с советом
У меня такая ситуация: живу с мужем 3 года , к нему привыкла , но мне удобно смета в Плане как подружка, друг И тд. И не хочу с ним целоваться даже не то чтобы спать . Замуж выходила не по любви, детей у нас нет( пока не получается). До этого муж показал свой характер, не давал денег , сам себе куда то собирает , по дому никакой помощи , насчет того что не получается с ребёнком со мной не был на одной волне, постоянно через слёзы заставляла пойти и сдать анализы. Моральной поддержки тоже никакой, и в один мин я взорвалась и ушла от него на неделю . Ходил ждал меня после работы встречал . Просил вернутся что он изменится , я вернулась...не знаю почему , некуда было идти наверно... вот недели 2 прошли ведёт себя совсем как будто другой человек , в лучшую сторону поменялся . Конечно может быть это пока. И
срустя несколько лет мне поступил звонок из прошлого , и все эти года я мечтала об этом- это моя первая любовь, первый парень , которого до сих пор люблю и вспоминала все время . Когда мы встречались ранее, он бросил меня, нам было всего по 18 лет, тогда говорит ничего не понимал ещё , юный возраст итд.Все забыть так и не смогла его я .. сейчас у нас было несколько встреч, мы поговорили , и оказывается он развёлся, но у него есть 2 детей которых он любит . Алименты он платит . С ними гуляет один без бывш жены, Вроде не плохо зарабатывает. Хочет строить дом. И предложил с ним начать новую жизнь.
Я очень хочу с ним быть , потому что люблю , но боюсь почему то , мужа жалко будет ... знаю ему будет тяжело, моя мама поймёт меня. А вот Мнение брата боюсь ... как поступить и если решусь уйти как это все объяснить мужу ? ...