Стоит ли рисковать и переезжать

Я живу одна с трехлетним ребенком в бабушкиной квартирке, в ПГТ, получаем от бывшего мужа в среднем 20 тыщ, и сама зарабатываю 20-23. Ну, нормально живем, экономно, но не бедствуем.
Не так давно появился любовник из другого, крупного города и все зовет к себе жить. Условия для проживания у него там хорошие. Но я очень боюсь, потому что если уедем, то я тут все потеряю - работу, хоть там зп небольшая, но искала место долго и на больничные отпускают. В квартиру эту въедет брат, ему скоро 18 и мама сразу хотела оформить на него, но так как у меня с браком не сложилось, то разрешила жить мне с ребенком тут. Если уеду и там не сложится, то придется с родителями жить, в лучшем случае. И еще муж бывший грозится сократить алименты к минимуму, если я найду другого мужика или увезу ребенка (город тот находится в 200 км), и будет не более 10 тыщ.
Я не могу никак решиться, хоть этот мужчина очень дорог мне. С одной стороны и не хочется оставаться тухнуть здесь, а с другой страшно потерять даже это...