Я не люблю мужа, а любовник не любит меня

В браке не так давно. Есть муж и любовник. Очень долго ждала оформления отношений (предложение поступило за несколько лет до него), что перегорела и вступала в брак толи из принципа, толи по привычке к человеку. Примерно в это же время в моей жизни появился новый мужчина. Когда увидела его впервые меня как будто током ударило. Неужели я поторопилась? Он сам начал проявлять знаки внимания и постепенно закрутилось. Мне бы очень хотелось попробовать построить отношения с ним, но он говорит, что не хочет разрушать мою семью и пусть остается все как есть. Его и так все устраивает. Вот и получается что к мужу у меня уже ничего нет, а любовник нормальных отношений со мной не хочет. Как разрешить эту ситуацию?