Добрый день! Самое главное, с Вами все в порядке!)
Все мы, находясь в отношениях или поддерживая общение друг с другом, стараемся руководствоваться тем, что нравится партнеру/собеседнику. То, что Вам не нравятся такие слова, это ваше индивидуальное восприятие. Если Вы хотите продолжить общение с этим мужчиной, то правильнее всего сказать ему о том, что Вам неприятно, иначе это раздражение будет скапливаться и общение сойдет на "нет".