Как мудро не общаться с друзьями парня?

У моего парня есть лучший друг, он женат. Мне максимально не нравится ни он, ни его жена, прям сильно. Абсолютно не против, когда парень идет с другом вдвоем посидеть, выпить, лишь бы без меня. А их пара часто зовёт нас в ресторан, еще куда-то, я отказываю, объясняю парню, что мне не нравится данная компания, а ему это не приятно, он видимо хочет, чтобы мы дружили. И вот я для себя уже все решила, что общаться не хочу, но как это делать грамотно, чтобы мой парень не расстраивался и это не влияло на наши отношения?