Поняла, что не хочу строить свою жизнь с парнем

Встречаюсь с парнем 3 года, жить начали почти сразу после начала отношений. Все время отношений мы то сходились, то расходились. Я просто не могла понять, что я хочу и что к нему чувствую. Почти все время пыталась убедить себя (и убедила в итоге), что парень мне подходит и что я его люблю, так как он не пьет, не курит, на лево не гуляет, короче «идеальный» вариант в нынешнее время. Но есть одно большое НО - он очень проблемный в других сферах. 1) Не хочет работать, все ему не так, зарплата не та; 2) у него очень проблемная семья - много кредитов, долгов, которые они пытаются перекинуть на него (несколько их кредитов уже взяты на парня), мама выпивает, папа отсидел; 3) Очень любит пораздражать меня, специально из себя выводит. Дак вот, в чем же вся суть проблемы. Я заканчиваю в этом году универ, и переезжаю к себе в родной город. Последний год наши отношения складывались хорошо, мало ссорились, он начал работать (в итоге недавно потерял эту работу и хороший заработок, больше не хочет куда то устраиваться). Ну и глядя на все это я решила, что мы переезжаем в ним вместе. Познакомила его с родителями (ездила с ним в родной город за 5000км), он разболтал уже всем родственникам, что переезжает, папа уже выбрал нам квартиру на покупку в том городе, и тут я осознала, что я не хочу этого.Поняла, что он вряд ли будет работать и зарабатывать там нормальные деньги ( у него образование повара, по нему работать не хочет), а я буду пахать на 2 работах - в больнице и строить свой бизнес. Получается, что скорее всего он будет сидеть у меня на шее, так как сейчас так и происходит.
Как объяснить ему, что я передумала? он постоянно говорит про переезд, а я стараюсь этой темы избегать. Очень агрессивно воспринимает мои слова о том, что он не приносит денег в дом от слова совсем. Не хочу, что бы он и дальше жил за мой счет. Как избежать нападок его родственников и осуждения со стороны моих? Мои родители уже планируют нашу свадьбу…