Влияние статуса отношений на ответ мужчинам

Ситуация следующая: обращаюсь к директору с вопросом о работе,на что он предлагает обсудить его во вне рабочее время ( к примеру подвезти до дома и поговорить). На что я отвечаю отрицательно, поскольку хочу решать рабочие моменты на рабочем месте. Он этого не понял и настаивает на своем,мол,работа лишь предлог со мной встретиться и спрашивает, может мой молодой человек против этого? Я не понимаю одного: для мужчин что ответ "нет" уже не имеет веса? То есть он поймет лишь когда я скажу : нет, я замужем/ у меня парень? Если это так то это максимально странно: ответ "нет" принят только при наличии отношений