Я -замужем, Он-женат. Замкнутый круг. Есть ли выход.

В 28 лет я влюбилась как школьница. Причем мы оба были не свободны. У него второй брак и трое детей. У меня тоже семья и двое детей. Он старше на 10 лет.
Сразу хочу сказать, что он не строил никаких иллюзий на счет наших отношений, ясно видел, что перспектив у нас нет. Мы несколько раз пытались расстаться: и по его инициативе и по моей. Но потом опять сходились. Через 4 года наших отношений, его жена подала на развод. Жена у него моложе меня на 2 года. Т.е сказать, что он позарился на молодость мою – нельзя. Дома его ждала такая же молодая супруга.
Они развелись. Но детей он не бросил, каждые две недели ездит к ним в другой город.И вот уже идет второй год как он разведен, мы все еще продолжаем с ним встречаться. Он не такой человек, который будет просить о чем-то женщину, но намеки делались. Но в тоже время я четко понимаю, что жить с чужими детьми он не будет.
И мы зашли в тупик. Отношения начали ухудшаться, постоянно ссоримся. Я чувствую, что он начал отходить от меня. Реже видимся, реже созваниваемся. Скажу даже больше, что в последнее время инициатива больше исходит от меня. Меня это тоже сильно нервирует, в результате опять ссоры и разборки...Он упрекает меня , что я его контролирую..., что я на это не имею права, так как он свободен.
Мы пытались поговорить, в результате я запуталась еще больше: с одной стороны он устал жить один, ему нужна женщина дома, с другой стороны, он не хочет, чтобы рядом с ним его дети видели другую женщину, с третьей стороны он не готов жить с чужими детьми, в четвертых ему надоело по праздникам быть одному. В пятых, он устал от постоянных скандалов.....Из-за нашей неопределенности мы ругаемся.
Что нам делать? Я вообще не вижу выхода из этой ситуации...И без него не могу.