Тут зависит от того, что это за человек. Как именно вы связаны. Если вы вместе работаете в одном отделе и постоянно видитесь, то да, после отказа будет сложно. Если все же не так связаны, то вперёд. Можно попробовать для начала самой больше инициативу проявлять. Писать, разговаривать, позвать куда-то. Можно и прямо сказать, что так и так, ты мне симпатичен. Как вы говорите да, вы ничего от этого не потеряете. А если будете ждать, то потеряете время