Самое важное сейчас - не играться в догадках, а спокойно поговорить с мужем и посмотреть не на слова, а на его реакцию: будет ли он вас успокаивать и ставить границы или обесценит ваши чувства. Именно это и покажет, есть ли реальная угроза браку.
Игнорируй его и не реагируй - такие люди ищут внимание и реакцию. Если ситуация будет повторяться или мешать жить, можно фиксировать случаи и обратиться к участковому или в соседский совет для защиты себя.