А зачем отвечать честно, если твоя жена сама хочет услышать :"Нет дорогая, это не то, что ты подумала!" Раз спрашивает и скандалит, значит хочет успокоения, иначе молча сделала выводы и действовала бы.
И вообще надо было по приезду его встретить с вопросом, а так у него куча времени придумать отмазку, вы уже остыните и после его "объяснения" начнёте сомневаться в своих умозаключениях. У него будет шанс вас ещё и виноватой сделать.