Первая любовь не ржавеет

Девчонки, ситуация на самом деле сложная. И я заранее предполагаю некоторые ответы, содержащие негатив, но тем не менее: История эта началась очень давно и касается бывшего мужчины. Мы любили друг друга, но случилось так что нам пришлось расстаться. Долгое время он пытался наладить со мной хоть какие-то отношения но безрезультатно. И вот недавно мы встретились. Он женат, я замужем. У обоих есть дети. Пообщались и поняли, что оба жалеем о расставании. Он говорит, что чувства до сих пор остались. И я со временем поняла, что и у меня они не угасли. Я никогда не изменяла мужу, он - жене. И в принципе он человек нерешительный и очень ответственный. И я понимаю, что эта внутренняя борьба между мной и женой ему нелегко дается. Впрочем и мне тоже не просто, но кажется это любовь. Я не хочу уводить его из семьи и рушить свою, меня устроит "статус" любовницы. Но вот как этого добиться, если мы оба запутались? Помогите советом пожалуйста.