Любовь разумной быть не может. Вы либо мужа любите, либо нет.
Если нет, разводитесь. Если да - докажите ему, что ощущаете привязанность сердцем.
А то вы действительно так и сказали ему "Дорогой, мне на тебя *** всегда было, ты просто нужен для вида, что у меня нормальная жизнь"
Вы сделали примерно то же, что сделали с вами в ваших предыдущих отношениях, только при этом не ушли от человека.