Ну тут два варианта так по мне :
1) забить , при личной претензии мужа - говорить как есть , что нет, не общаемся , пруфов у того не будет ( если реально сейчас не общаетесь и не лукавите) , на остальных людей плевать, кто там что думает
2) поговорить с мужем в открытую , рассказать всё. Пусть он поговорит со своим « другом»