Можно ли быть с любимым когда ВСЁ против вас?

Прошу сразу строго не судить. Кратко, я замужем, жду ребёнка. К мужу отношусь хорошо, но не люблю….
Люблю человека, с которым встречались до замужества (7 лет) и жили год в ГБ. Он любит шумные тусовки, компании, гулянки, любит выпить и иногда курит травку. Я – полная противоположность. Из-за этого и разошлись, были страшные скандалы.
Он тоже меня любил и любит, хотя сейчас живёт с другой девушкой, которая вместе с ним с удовольствием участвует в его гулянках. А я так не смогла.
Думала, выйду замуж, забуду его и всё будет у меня хорошо. Не будет больше нервов и истерик… Но НЕ МОГУ я жить с нелюбимым, видеть его противно и скучно с ним, секса тоже с ним не хочется. Недавно встретились с бывшим, все чувства у меня и у него вспыхнули вновь. Он сказал, что уйдёт от своей девушки и чтобы я разводилась и мы поженимся и будем вместе навсегда! Что он изменит свой образ жизни. Я сказала, что с радостью бы сделала это, но я беременна. Он настаивает на аборте (мол у нас будут общие дети). НО я аборт КАТЕГОРИЧЕСКИ ДЕЛАТЬ НЕ БУДУ. Я не смогу без моего малыша. Я предлагаю ему принять меня с ребёнком, он сказал, для него это тяжело и он будет думать.
Ещё нужно добавить, что в случае если мы с ним сойдёмся, и мои, и его родственники будут против нас и возможно больше никогда не будут с нами общаться.
Ещё добавлю, что финансовое положение моего бывшего гораздо лучше чем у моего мужа.
Люди, посоветуйте, как быть в такой ситуации, можно ли что-то сделать чтобы быть вместе с любимым? Забыть его мне не удаётся. Год в законном браке мне не помог это сделать.
Я в отчаянии…