Отношения с лучшим другом бывшего

Жила несколько лет с парнем, много общих друзей, все выходные и праздники в одной компании. Расстались плохо. С общими друзьями сохранились очень тёплые отношения у обоих. Спустя два года после разрыва его лучший друг начал активно писать, звонить. Дружим с детства, но последние полгода стал очень инициативным. Переспали, стали проводить все выходные вдвоём. Не афишируем. Круто, интересно проводим вместе время, но он тщательно скрывает от ребят то, что мы общаемся. Случайно встретились на улице с бывшим, он спросил мол вы переспали и хотите строить любовь а я вам мешаю? Я отрицала, чтоб не подставлять человека, ибо для него это важно по всей видимости. Пробовала поговорить с "другом", чтоб он как-то определился, чтоб или перестали играть в маленьких детей, которым нужно прятаться от родителей, и чтоб никто ничего не узнал, или перестать так тесно общаться, раз он настолько боится подорвать свою дружбу с бывшим. Сказал что очень запутался, что сложная ситуация очень, и пока не придумал как действовать дальше. Пока оставили всё как есть. Что-то большее чем секс по дружбе, но не отношения. Я бы хотела с ним отношений, но не трясу эту зелёную яблоню, созреет сам - хорошо, нет - наверное сможем общаться как раньше, до всего этого. Человек мне дорог, вариант прекратить с ним общаться не рассматриваю, но данная ситуация уже не устраивает. Нужно сделать или шаг вперед, или шаг назад, и попробовать снова стать просто друзьями. Посоветуйте, пожалуйста, мнение со стороны, как бы лучше поступить. Хотелось бы начать с ним что-то строить, но уж сильно эта их "дружба" препятствует.