Как вежливо отказать парню с маленьким?

Недавно один знакомый позвал меня на свидание. Мы и раньше общались, но я особо не обращала на него внимания, а тут он, наконец, решился. Он умный, вежливый и внешне симпатичный, так что я согласилась.
Когда дошло до секса, оказалось, что у него маленький член. Точных цифр не назову, линейку не ношу, но это реально мало. Я решила, что было бы совсем по-хамски так ему сказать, когда мы уже разделись, и уйти, так что сексом мы позанимались, но впечатлений у меня, конечно, не было.
Потом он стал мне писать и приглашать ещё, а я вот и не хочу с ним встречаться, но не знаю, как лучше поступить: сказать правду, что мне не понравилось? Но мужчины очень болезненно на это реагируют, вдруг я нанесу ему травму (он же и так, наверное, комплексует). Или соврать и придумать другую отмазку, но тогда он же не будет знать, что на самом деле мне не понравилось, а в остальном ведь человек хороший.
Как лучше быть?