Жилищный вопрос

В общем история такая. В подростком возрасте, мы жили у бабушки, мама развелась с отцом пьяницей. Все мама и бабушка тянули на себе и параллельно строили для нас с мамой дом. Была в 8 классе, Во всем меня ущемляли потому что строились и денег особо не было. Хотелось модничать но не было возможности. Тогда мама сказала, что лучше тряпки или жить в новом хорошем доме? Прошло время , родился братик и когда было мне 17 лет мы переехали в большой дом. Втроем. Потом в 20 лет я выхожу замуж, у мужа деревянный дом и там вся семья живет, мы переезжаем с ним туда. Было очень обидно, я так ждала свой дом и толком там не пожила. Просила мужа к нам переехать он отказывался, через месяц после свадьбы я забеременела и так как туалет там уличный , и папа у него выпивает, я уговорила мужа переехать к маме моей. Тут 3 этажный коттедж на 280 кв 
.у нас свой этаж на 50кв. Как двухкомнатная квартира. Но опять же надоели уже сплетни людей, типа что живем мы с моей мамой, а не берем в ипотеку на 30 лет квартиру, от каждого третьего этот вопрос. Я не хочу в эту кабалу, мне тут комфортно. Конечно понимаю что может со стороны это стрем что живем у мамы, но всю жизнь платить за кв я не хочу и ущемлять себя во всем. Еще момент что дом оформлен на бабушку, долю на меня сразу оформили и на братишку, при этом бабушка отписала мне тоже дом свой и участок, дед тоже подарил участок. В принципе в недвижимости я не бедна, но от этого толка нет и каждому человеку объяснять это не хочется. У мужа ничего нет, но у него есть желание зарабатывать, он заботливый муж и отец, и это главное. а как бы вы поступили? Все таки съехали бы? Или если позволяют условия и место то жили бы так