Вам раньше изменяли? Просто такое чувство, что вы свою нервозность и подозрительность перенесли на него из прошлых отношений. Неприятно, что он оговорился, конечно, но, если вы точно знаете, что они расстались 3 года назад и отношения не поддерживают, может, стоит дать ему шанс?