Вам не кажется. Это ненормальные отношения. Он не с вами душевно, а до сих пор "там". Лучше оборвать подобное ибо настоящими чувствами ни с его стороны ни с вашей не пахнет здесь. Невозможно иметь полноценные здоровые отношения с недоверием даже одной из сторон к своему партнеру. Это будет лишь вечная мука для этой стороны и комплексы. Нафиг такое! Просто отрежьте такое от себя и дайте ему понять, что с подобным как он вам не по пути.
Удачи.