Парень обижается, когда я уезжаю домой

Добрый день. Мой молодой человек, с которым мы вместе уже 1,5 года, начинает чудить, когда я уезжаю в другую республику к родителям. Он сам уже дома не бывал года 3-4. Мы не женаты, не живем вместе. Не было ни одной поездки, когда мы не ругались во время моего отъезда. Больше чем на неделю я никогда не уезжала, поводов для ревности не давала никогда, но каждый раз он перестает со мной нормально общаться, вообще не звонит и не пишет. А в остальное время, когда мы в одном городе, звонит и пишет на каждом шагу. Раньше я резко реагировала, обижалась, теперь я привыкла и меня это не удивляет. Причину его поведению так и выявить не удалось, он не говорит. Но накануне нынешней поездки он сказал мне такую фразу: «я знаю, что у тебя там есть любовник»)) Было сказано вроде в шутку, однако может он реально так думает?