Начальник подвозит до остановки, ходим порой вместе на перерыв. Пошли слухи. Что делать?

Месяц назад устроилась на новую работу ассистенткой руководства.
Начальнику 31, привлекательный очень, мне 25 (тоже не от плохих родителей, как говорится). У него никого нет и у меня никого нет.
Предприятие - цех по производству всяких машин, станков. Находится, как понимаете там, где находятся все такие предприятия, т.е. не совсем в центре города, большой концерн.
От остановки до концерна - 15 минут пешком.
Он мне предложил подвозить меня после работы до остановки.
Вообще предложил подвезти до метро, но я отказалась, так как это уже вообще неудобно перед ним.
Еще на перерывах мы часто вместе обедаем, он сам приглашает. Иногда обсуждаем дела, но чаще всего просто на отвлеченные темы говорим.

Теперь пошли слухи, т.е. сотрудники увидели, что шеф меня подвозит и то, что мы вместе на перерыв ходим.
А один раз мы утром встретили, когда я на останове была. Он остановил машину и так получилось, что приехали вместе. На улице в этот момент несколько сотрудниц стояло.
И теперь судачат, что у нас роман. В лицо никто не говорит, но за спиной обсуждают. К тому же особо я с другими не общаюсь, так как нахожусь на шефском этаже всегда.
Но неприятно ужасно. Вчера я начальнику сказала, что сама дойду до остановки, но он отмахнулся, сказал не нести бред и чуть не запихнул в машину сам.
Не знаю, может с ним поговорить на эту тему, что мне не нравится, что многие думают, что мы спим друг с другом.
Как считаете, будет ли это уместно?