Тут, как мне кажется, два вариантаа:
1. Вы ему не интересны и он так постепенно отдаляется.
2. Это манипуляция для того чтобы вас "влюбить" покрепче.
Если второй вариант может показаться для Вас более предпочтительным, то. на самом деле, они оба плохие. Сейчас вы в слабой позиции и ничего не измените. Решение только одно - расстаньтесь. Понимаю что тяжело, но, поверьте личному опыту, дальше будет хуже.