Как отказывать людям?

У меня такая ситуация:

Я сдавала свою квартиру и по объявлению пришел очень неприятный мужчина. Вел себя развязно, очень открыто, задавал много неуместных, лишних вопросов "какого вы года рождения?", посмотрев мой паспорт немного усмехнулся "ха, восемьдесят девятый!".
В общем, мне он показался неприятным человеком, подсознательно есть какой-то страх к нему, хотя откровенно хамского или конфликтного поведения за ним не было. Однако вел он себя так, будто он здесь хозяин.
Я очень не хотела сдавать квартиру именно ЕМУ, так как не хотелось больше с ним видеться и иметь никаких дел. Но конкретных причин чтобы отказать ему не было: он сразу заплатил деньги, подписал договор, показал паспорт и т.п. и мне нехотя пришлось сдать квартиру именно ЕМУ. Не могла же я ему сказать "Вы мне просто не нравитесь, вам сдавать я не буду" или могла? Подскажите, как поступать в подобных ситуациях?

Как бы вы поступили в такой ситуации? Правильно ли сделала я? Покритикуйте или дайте совета, пожалуйста