Если вы уже однажды решили сами его бросить и бросили, значит были на то причины (вы хотели семью, а он не подходил в качестве мужа).
Т.е. ваша цель была создание семьи.
Семью вы построили, цель достигнута.
Возможно, это мое предположение, что муж вас устраивает полностью как семьянин, но вот в постели вы просто заскучали. Вот и вспомнили того парня с которым было классно, но не для долгих отношений. А именно, только для постели.
Мораль читать не буду. Скажу только, что жизнь вам дана одна и принимать решение конечно же вам. Если вас не смущает факт измены, то вы вполне можете реализовать ваши фантазии, может отпустит. Но не факт, что не подсядете на такие отношения. Ещё момент, сможете ли вы потом спокойно смотреть мужу в глаза. И одно дело мечтать изменить (фантазии), а сделать это в реальности - совсем другое. Уверены, что хватит смелости? Можно ведь просто оставить это в качестве сексуальной фантазии.
Чужой опыт тут вряд ли вам поможет. Ведь все зависит от ваших внутренних установок и границ.
Как вариант, попробуйте разнообразить отношения с мужем, это гораздо безопасней.