Возможно, вы отторгаете его подсознательно, потому что он вас раньше сильно обидел и вы не простили его. Или вы в целом не любите его, но благодаря его обаянию это забывается.
Ощущения в отсутствии человека вернее, чем в его присутствии. Прислушайтесь к своему подсознанию.