Была в тайных отношениях с мужчиной старше

История такая, я года 2-3 назад была в тайных отношениях с мужчиной старше меня на 13 лет примерно. Мне было 24,ему 37. Сразу скажу,он не был женат,был разведён и 2-е детей. Отношения были тайными,потому что он мой начальник,но привлёк он меня не этим,он был очень «легким» человеком,болтали не зная границ с ним, приятный в общении,он словно затягивал мои раны,после 4-х лет болезненных отношений с одногодкой. Потом он переехал по работе и мы постепенно ,перестали общаться. Длилось это примерно месяца 5,с перерывами.
Время от времени он пишет,о любви,хочет вернуть все,а я не хочу повторений.
Нашла нового парня,он моложе меня на 2 года,мне уже 27 лет,ему 25. И он как то распрашивал у меня,сколько у меня было партнеров и я сказала про этого мужчину,что он был на 13 лет старше. Он сказал,что считает,что такие отношения могут быть только у глупых девушек и из-за денег. Было очень обидно. Я копейки не взяла с того мужчины и подарков не было. Даже когда он предложил мне новую мебель бесплатно,когда уезжал,я отказалась.
Скажите неужели это такая разница и стоит ли с тем парнем вести дальше отношения? Понимаю,что решать мне,но неужели так выглядит со стороны-« 13 лет,она с ним из-за денег»