Как-то поторопились Вы с ним съехаться, не зная полностью его предисторию и общение с бывшей. Мужчина не был честным и открытым, а просто расположил к себе, позвал жить вместе и теперь вот такое вот всплывает, хотя он уже с самого начала знал, что будет продолжать дружеские общения с бывшей женой. А теперь и Вы привязались к нему, вложились эмоционально, и некуда деваться. Если есть средства и возможность, лучше съезжайте с его жилья и дайте и себе и ему время всё обдумать. Объясните, что Вам немножко рано связываться с обязательствами сожительства с мужчиной, который почему-то считает, что у него есть обязательства к бывшей. Она может быть и не очень здорова психически женщина, раз так в него вцепилась даже после развода. А ему скорее всего такое внимание льстит и прикрывается благими, святыми намерениями ("в ответе перед ней" и "дружеские визиты"). Если бы это было чисто дружеское общение, то он бы не прятал этот факт от Вас, особенно перед тем, как позвать Вас жить вместе.
Он у неё на поводку, и это ему не мешает. Да, но это станет мешать Вам, т.к. придётся делить мужчину с другой; даже если у него с бывшей нет физической близости, у них есть эмоциональная (и не здоровая для бывших) близость. Поэтому, да, у Вас вполне есть право чисто дружески быть с ним, а "дружески" знакомиться с другими мужчинами.