Запуталась окончательно, как жить дальше?

Муж больше чем полгода с нами не живет, ушел к родителям (не к женщине), у нас ребенок 4 года. На тот момент мы много ругались, часто при ребенке. Секса нет в отношениях давно. Скорее по моей вине - пропало желание к нему. Через какое-то время мы привыкли без секса обходиться, муж тоже особо не настаивал, ему было нужно, чтобы инициативу проявляла я. На тот момент я готова была жить одна, но только не с ним. Хотя не могу сказать, что он плохой, отличный заботливый отец для ребенка, не пьет, трудолюбивый, все в дом, не гуляет. Мне не хватало его внимания к себе, да и чувства, видимо прошли. Сейчас он хочет вернуться, говорит, что плохо ему без нас. С ребенком видится по выходным и иногда на неделе заезжает.
За это время я начала встречаться с другим. Знаем по работе друг друга почти 2 года, встречаемся полгода. У нас серьезные отношения. Влюбились мы по уши. Но проблем тоже много. Он женат и у него тоже ребенок. Хочет со мной быть вместе всегда, готов оставить все ради меня. Секс потрясающий, человек мне очень интересен.
Проблема стандартная: боюсь менять свою жизнь и жизнь ребенка. Мужа не люблю по-прежнему, но все же он родной человек. Плохое забывается быстрее, но боюсь, что в случае, если останусь с ним из-за ребенка, все вернется в итоге к скандалам, а потом буду жалеть всю оставшуюся жизнь, что отказалась от своей любви. Но при этом с любимым мы формально разрушаем 2 семьи (по факту чувств и отношений они уже разрушены), дети остаются без отцов. Это чувство вины давит постоянно. Как же быть?