Неужели это так плохо

Всем привет! С праздниками! Мы с мужем живём 5 лет(вместе 10), и всё вроде бы хорошо, но его бесит что я хожу к маме ночевать когда он на сутках. Дома у нас всегда порядок, кушать первое, второе, компот и чё нибудь из выпечки всегда наготовлено, собака выгуляна и накормлена. Сделав все дела домашние иду к маме, ну скучно мне дома, да и сын (ему 3 года) к бабушке просится, бабушка скучает ужасно, домой приходим до его прихода с работы. У мужа с моей мамой отношения хорошие. Вот бесит его и всё что я туда хожу. Объясните мне неужели это прям так ужасно и из за этого возникают ссоры, и как ему это объяснить?