Как реагировать на неуместные шутки в отношениях?

Добрый вечер, произошла неприятная для меня ситуация с парнем. Сегодня очередная неудачная шутка с его стороны. Мы разговаривали, но из-за того что он параллельно работал - разговор был таким,средним. В моменте он рассказал историю о том, как их в детстве , соседка под предлогом того, что отдаст своих дочерей за них замуж, заставляла их работать. И тут он выдает: «Обманывала нас, а мы-то думали, хоть какой-то плюс будет». Я не много офигела,мне было очень неприятно такое услышать. Я замолчала. Он заметил, что что-то не то , и спросил в чем дело. Я , ответила с обидой на душе: «Ничего, тебе же плюс было бы с ее дочерей, этим все сказано». Он посмеялся и отвечает мне: «Да они же гинекологи, на будущее понадобятся». Я ответила: «Понятно». Разговор продолжился, но я уже отстраненно с ним разговаривала. Потом он сказал, что поработает и перезвонит. Я не понимаю нормально ли такое? Или может быть я просто делаю из мухи слона, ведь это просто шутка.... Я не знаю что и думать.