Главное, чтобы вы с мужем были на одной стороне. Объясните, что вам не хочется бывать в обществе людей, которые вас не любят. На самом деле если бы муж поговорил с ним, это бы ничего не решило, так что не переживайте, это хорошо что муж не хочет скандала и разборок, взрослых людей не переделаешь, к вам бы стали относиться еще хуже. Совсем переставать ездить тоже не очень хороший вариант, можно просто пореже, только на важные праздники и на один день. Ваша семья - это вы и муж, все остальные люди, особенно свекры - чужие люди, так что если отношения с ними не сложились, это нормально. Вы не обязаны быть дружной семьей с чужими людьми (ну и они тоже в сою очередь)