Коллега настойчиво меня добивается. Что делать????

Недавно (3 мес.назад) устроилась на новую работу. Коллектив преимущественно мужской. Есть коллега, который с недавнего времени стал активно писать, звонить, приглашать куда то. Он женат. Я в разводе, но с бывшим мужем решили сходиься, на работе все думают, что я замужем, сама так сказала и кольцо ношу. Он тоже об этом знает, но говорит мол для него это не имеет значения. Внимание его мне приятно, но только как сам факт. Он вроде просто по дружески, ни на что не намекает, помогает в чем то, но его активность во вне рабочее время настораживает. Портить "рабочие отношения" не хочу, но и приоритеты обозначить надо. Посоветуйье, как корректно дать ему понять, что у меня семья, меея в ней все устраивает и менять я ничего не хочу. Мне очень важен этот этап налаживания отношения с БМ, мы долго к этому шли и его впутывать в это не хочется.