Окружающие негативно отзываются о моем супруге

Периодически слышу негативные отзывы о муже от женщин, с которыми общаюсь в своём окружении. Практически ничего о нем не рассказываю, иногда лишь скажу. Поздними вечерами или по ночам он меня не отпускает никуда, мне в ответ - это все ревность или по внешности судят, что если он среднестатистический, то мне явно наверное хочется молодого, красивого. Одна вообще сказала - он у тебя с тараканами. Причём он с ней даже не общался никогда! Считают, что он наверное боится меня потерять, думает, другого найду. В общем строят в своих фантазиях несуществующие в реалиях догадки.
Все наоборот, но я им не рассказываю же, что и коллективы мужские были и он адекватно реагировал, и по контрактам уезжал, а я часто одна жила. По ночам конечно не отпускает, но мне нет надобности и не к кому ночью ездить, у меня семья. В основном говорят это те, у кого мужья моложе жены или разведенные, которые годами одни.
Стоило поделится этим с мужем, крупно рассорились, сказал, нафиг слушать каких-то недалеких бабенок, что ему плевать, что про него говорят, причём те, кто из себя ничего не представляет.
Может отрезать общение с этими людьми, так как они подсознательно сильно влияют на меня? К чему все это говорят, не пойму... Даже моя мать раньше говорила: что у вас общего? И что он ей не нравится как мужчина.
В общем, все судят о внешней стороне, никто не знает, что внутри семьи все по другому и меня все годы брака устраивало все. Уж браку 20 лет, а общество, включая моих родителей, не уймется