А зачем "корректно "давать понять, что ничего не будет?
Вы зависимы от этого коллеги?
Если вы ничего этому коллеге не должны, то скажите все как есть.Некорректно и в лоб скажите ему :люблю мужа.Отстань.