Муж vs любовник - с кем быть?

Замужем 4 года, с любовником встречаемся 4 месяца. На днях поставил мне ультиматум – или живи с мужем и мы с тобой больше не встречаемся, или давай жить вместе. Я буквально с самой первой встречи полюбила его и мечтала о совместном проживании с ним, а сейчас стало так страшно! С мужем всё налажено, по полочкам разложено, распланировано на годы вперед, муж меня очень любит, для меня он самый родной и близкий человек, и жили-то неплохо, меня вот на сторону потянуло зачем-то. Сейчас сижу и не знаю как быть. Любовник довольно мутный, с женой не живет, но и не разводится, она в другом городе с ребенком. Боюсь, вдруг к ней вернется, боюсь, вдруг поиграет со мной месяц-два и бросит. И останусь я одна, муж явно назад не примет меня. Плюс, страшно опять начинать с кем-то новым совместную жизнь, быт-притирки. Но желание жить вместе есть, хочется засыпать и просыпаться вместе, хочется готовить ему, детей рожать. Но не уверена я в его любви ко мне, что-то терзает меня. Сама так хотела жить вместе, сама ему первая это предлагала, а сейчас уже страшно стало, за будущее страшно. Муж – человек годами проверенный, никогда не предаст и не обманет меня. А любовника совсем не знаю. Есть возможность сказать мужу, дескать, давай отдельно пару месяцев поживем, а самой съехать к любовнику, посмотреть как у нас с ним всё будет. Но это уж как-то по свински, а по-другому я и не узнаю, что он за человек и стоит ли уходить от мужа. Запуталась, что делать?