Расставайтесь. Не портьте жизнь ни себе, ни ему. В отношениях должно быть приятно вам обоим. Это ощущается и на физическом уровне. Я бы даже сказала, в первую очередь, на физическом. Находясь рядом с ним, ты просто понимаешь, что это твой человек, подсознательно. Тебе приятно чувствовать его родной запах, приятно с ним целоваться, обниматься, как будто вы - не два разных человека, а один человек в двух разных телах. Вот так должно быть.
Данный мужчина вам однозначно не подходит. Ну не ваш тип. Так лучше прямо сказать, мол, ты меня прости, но мы друг другу не подходим, как-нибудь вежливо сказать "Ты мне не нравишься". В общем, любым способом пресечь отношения, в которых вам не комфортно. Лучше так, чем пудрить человеку мозги и оставлять его в непонимании, что же он делает не так, почему вы от него отстраняетесь.