Насколько понял ваш муж просто хочет разнообразия, а вас устраивает всё как есть.
Теоретически думаю можно удовлетворить его фантазию, но вы должны выставить границы того что женщина со стороны не должна быть как-то заинтересована разбить вашу семью. То есть если и приглашать, то женщину лёгкого поведения. Ну и нужно установить границы того что вы хотите сохранить семью и муж не должен пересекать красную линию походов налево к одиноким женщинам. Также нужно понимать своего мужчину что у него есть желания раскрепоститься, без разрушения семьи. Такие семьи есть, это просто другая уровень отношений в семье.