Как выставить личные границы в таком случае?

не ходите в общественные места

Не могу не ходить. Дурацкий совет

отличный совет. просто вам слабо кататься на личной тачке в личный рабочий кабинет, например

Почему же обязательно вежливо? Диапазон возможных, мгновенно выдаваемых ответов должен быть широк - от лёгкого покачивания головой для умного и интеллигентного до увесистого мата незатейливому хмырю. Не исключены варианты и с хорошим коротким ударом коленом в пах. Модальность ответа на самом деле определяете не Вы, а приставший мужик. Вы лишь употребляете доступный и действенный для него (!) способ донесения своей мысли.

Зависит от ситуации. Если на улице кто-то пристал, скажите, что-нибудь типа: "Извините, я спешу по делам. Хорошего дня" и уходите. Если в заведении кто-то прилип, сделайте вид, что вам нужно срочно отойти и поговорить по телефону, напоследок пожелав хорошего вечера (как бы обозначая финал текущей беседы).
А вообще люди, обычно, чувствуют, что собеседник не заинтересован в общении, когда дает односложные ответы, сам не задает вопросов или то и дело поглядывает в свой телефон.

а если автор в ответ получит хороший удар в челюсть?

Я просто не обращаю внимания и иду по своему пути

А вы обязаны быть как-то специально вежливой?

Я не автор, но разве это не поведение по-умолчанию для всех людей?
Если человек ничего плохого не сделал, просто хочет общаться, а вам в данный момент не хочется, другой же не может читать ваши мысли. Поэтому лучше вежливо слиться.
Но если даже после вежливого отказа продолжают донимать, тогда уже можно отставить реверансы и более жестко обозначить свою позицию.

Удар в пах, правильно нанесённый, исключает удар в челюсть. Опять-таки, нужно грамотно рассчитывать ситуацию. Но, надеюсь, Автор не будет начинать с удара в пах.

Поддерживаю