Очень подробно поговорить с ним об этом. Тут варианта два: либо за этим стоит какая-то серьезная психологическая травма (тогда вы вместе с этим работаете), либо он просто несерьезно к тебе относится, как к секс-кукле и бросит когда ты ему надоешь (тогда, уходи от него).
А, ну и если он вообще откажется на эту тему говорить и что-то тебе объяснять, то тоже ничем хорошим это не кончится - такой человек тебя явно не уважает, поэтому на все 4 стороны