Я бы пока не пытался «открыть вам глаза» в одну сторону и убеждать немедленно уходить. В вашем рассказе есть несколько вопросов, от ответов на которые очень многое зависит.
Почему за три года вы ни разу не едете вместе с ним к его родителям и сестре? Он вас не приглашает? Родители вообще знают о вашем существовании? Есть ли причина, по которой эти две части его жизни никак не пересекаются? Одно дело, если вы сами не хотите ездить, и совсем другое, если мужчина фактически держит отношения с вами отдельно от своей семьи.

И кот здесь, мне кажется, не главная проблема. Скорее вас задевает ощущение: он уезжает в свою прежнюю жизнь, к близким людям, а вы остаетесь в доме, куда когда-то переехали вслед за ним. Особенно после смерти мамы это может переживаться сильнее, потому что ваша собственная прежняя опора тогда резко исчезла.
При этом сам по себе отпуск у родителей не является основанием для расставания. Основанием может быть другое: если спустя три года вы понимаете, что живёте рядом с человеком, но так и не стали частью его жизни целиком, а все попытки обсудить это заканчиваются оправданиями и ничего не меняется.
Я бы сначала спокойно спросил его не «почему ты опять уезжаешь», а гораздо прямее: «Какое место я вообще занимаю в твоей жизни и почему за три года твоя семья и я так и остаёмся двумя отдельными мирами?» Ответ на этот вопрос даст вам гораздо больше, чем история про отпуск.
Похожие истории о том, как отношения существуют внутри разных социальных миров, я разбираю в «Хрониках состояния»:
https://dzen.ru/psy_zabiyako

Похоже, вы ему действительно небезразличны. Но «привязан» и «влюблён» — не совсем одно и то же.

Он когда-то хотел отношений с вами, потом сам остановился, потому что женат. При этом спустя годы сохранились объятия, прикосновения, желание быть рядом, помощь, особое внимание. То есть эмоциональная связь явно осталась.

Но я бы не стал автоматически делать вывод: «значит, он любит меня, а с женой ему чего-то не хватает». Мы этого просто не знаем. Человек может быть очень привязан к другому человеку, получать от общения тепло, близость, ощущение нужности — и при этом не хотеть менять свою жизнь и уходить из семьи.

Мне здесь важнее другой вопрос: а вам самой что даёт эта многолетняя «дружба»? Потому что если вы всё время считываете его взгляды, объятия и пытаетесь понять, любит ли он вас, то для вас это уже тоже не совсем дружба. Вы как будто годами находитесь рядом с отношениями, которые не начинаются и не заканчиваются.

Иногда гораздо полезнее перестать разгадывать чужие чувства и спросить себя: меня устраивает именно такое место в его жизни? Если да — тогда можно не придумывать этому больше смысла, чем есть. Если нет, возможно, требуется установить более ясные границы.

О похожих историях отношений и привязанности я пишу здесь:
https://vk.ru/psy.zabiyako