Я бы рассказала всё как есть. Этот сосед может от обиды о Вас слухи пустить. Например, скажет: «она меня влюбилась, в гости приглашала. Я ей отказал, теперь она меня добивается, пришлось заблокировать». И найдутся старушки, у которых ушки на макушке. И они подтвердят, мол, да, мы видели, ты ходил к ней!!! Надо же, муж в Тверь, она в дверь! И всё в этом духе!!
В идеале пусть муж с ним поговорил с глазу на глаз