Не отстаёт начальник…

На работе начальник около года назад стал проявлять интерес. Я замужем, он женат. Я сразу обозначила что ничего кроме общения быть не может.
Переписывались, признаётся в любви, один раз целовались.
Я понимаю, что моя вина есть, раз допустила до такого.
Много раз говорила, что не пишите, не заходите на работе ко мне. В офисе стали все судачить о том, что что-то есть.
Мне эти разговоры неприятны.
На протяжении полугода уже прошу его держать дистанцию. Он на какое-то время успокаивается и начинает по новой люблю-не могу.
Заблокировала его в соцсетях, номер не могу заблокировать из-за работы.
Подскажите, что делать?
Работа нравится, как начальник он неплохой, мужа люблю, много лет вместе. Просто польстило внимание, а теперь не знаю как выбраться!