здравствуйте! проблема не в вашем либидо, и не в том, что секс важен/не важен. проблема в его токсичности по отношению к вам, именно оно убивает влечение на корню.
и то, что вы "равнодушны" к сексу(именно с этим человеком), это, скорее всего, просто защитная реакция, учитывая то, что вы говорили, как его хотели в начале отношений.

организм не дурак: он не будет хотеть секса с тем, кто источник стресса и опасности, даже если в остальное время он "старается и много делает".
с вами всё в порядке, такие проблемы в отношениях должны решаться диалогом, а не манипуляциями с его стороны, даже если вы несовместимы по характеру, в т.ч. по либидо.

лично мне кажется, что этот человек вас не слышит и не хочет слышать, попробуйте прислушаться к себе без влияния этого источника стресса на вас.