А муж вообще в курсе этих мыслей про других? Может он думает что у вас просто застой и временно дистанционировался, поэтому и говорит чтобы не уходили.
Если не в курсе, а вы просто удачно ссыте и форуму и ему в уши, додумывая там где вам удобно - то прежде чем спать и гулять с другими - съезжайте и ему скажите, что все. Конечно, вы можете сделать как вам удобно, тогда если с другими не срастется или вам нужна будет помощь "друга" - уже он имеет полное право сделать как удобно ему, а именно отправить вас на все четыре стороны, несмотря на все ваши возможные проблемы.
Если нет возможности финансовой и моральной сейчас уйти.
( понятно, возможность есть всегда, но вы попадёте не в самые хорошие обстоятельства)
Стали бы вы искать нового парня себе, живя со старым? Или вы такого не приемлете?