Неудачное знакомство превратилось в свидание

Моя прдруга встречается с парнем и у него есть друг, он захотел познакомиться со мной, по словам подруги он уговаривал ее неделю. Я своего согласия на это не давала напрямую, но с подругой мы договорились встретиться и в итоге наша с ней встреча превратилась с свидание. Мы почти весь день провели вместе вчетвером ( я, подруга со своим парнем и этот его друг). Он оказался хорошим, но не в моем вкусе, что внешне, что поведением. В начале он даже почти не смотрел на меня и молчал. В конце он меня подвез домой, мы общались, он попросил номер и теперь написывет и зовет встретится, а я не отвечаю, хоть и понимаю что это некрасиво, но я не знаю как ему сказать, что не хочу продолжать общение, что скажете?