Не стоит строить столь сложную конспирологию. Просто мужик явно запутался в своих чувствах, и как обыкновенный начальник-слабак решил свалить вину на Вас за несостоявшиеся ПО ЕГО вине отношения. Возможно, что это Судьба отвела Вас от него - где гарантия что Вы были бы с ним счастливы, а не стали бы сливным бачком для различных упреков?
А вот про напряженные отношения с мужем и нежелание не иметь от него детей - это совсем другая сторона вопроса. Может, здесь все идет по нарастающей спирали? Обычно в семье при наличии секса дети сами собой заводятся, а если специально от них предохраняться - то вот Вам и прекрасный катализатор для плохих отношений, ибо у вас нет друг к другу нужного доверия.