Муж хочет перевести нас с дочерью к себе, но я привыкла жить с родителями

Всем привет , хотелось бы услышать мнение
Мы с мужем в браке уже 6 лет , недавно родилась дочь , почти 4 месяца. Жили в другом городе от родителей, сейчас переехали в город к ним( так сложились обстоятельства) . Своей квартиры у нас тут не было и я с дочерью осталась у своих родителей, а муж не захотел тут быть и уехал к своей маме . Иногда заезжал чтобы проведывать, на часа 2-3. Сейчас он нашел квартиру , хочет перевезти нас с дочерью и жить вместе. Но я так привыкла уже с родителями, они очень привязаны к внучке . Теперь я в замешательстве. Муж злится , говорит что я удобно устроилась , у меня не забот не хлопот.
Загоняюсь что после переезда буду все время одна, квартира на 4 этаже не смогу даже с ребенком гулять выходить сама , он работает.
Успокаиваю себя что уже нужно жить самостоятельно, что все будет в порядке , но все равно боюсь. Как бы вы поступили ?