Вообще это делать должен ваш муж. Если он понимает какой дискомфорт у вас эти встречи вызывают, то пусть решит вопрос.
Например, можно сказать что не хочется сидеть дома, предложить посидеть вместе где-то в кафе/ресторане или сходить на выставку/в кино/театр/погулять по городу.