Влюбилась в коллегу и все испортила

Я недавно нашла работу своей мечты после долгих месяцев бесполезных собеседований, мне нравится на ней все от коллектива до зарплаты, но спустя первую же неделю после моего трудоустройства из командировки вернулся коллега и я просто «поплыла». Я свободна, он тоже, влюбленность оказалась взаимной, и вскоре он стал за мной ухаживать: мы вместе обедали, ходили на ужины, он подвозил меня до дома, и вот наконец решил перевести отношения «на новый уровень» и пригласил меня на уикенд в загородный отель. Я была безумно счастлива и поделилась с подругами новостями, но они их не восприняли так радужно - и отель плохой, и слишком рано ехать (месяц свиданий), и работе помешает, и вообще мы с ним слишком разные люди. Я распереживалась, накрутила себя и в итоге мы с ним поссорились: я сказала, что, возможно, нам лучше остаться просто коллегами. Он воспринял это достаточно спокойно, не стал меня возвращать или добиваться, мы продолжили работать, вот только теперь я страдаю из-за собственной глупости, потому что мне он правда нравится как мужчина. Я не могу сказать, что это сильно мешает моей работе, так как мы не прямые коллеги, но я очень скучаю по нашему общению, плачу по ночам и хочу все исправить. Не знаю, есть ли смысл, с учетом того, что он не особо настаивал на продолжении после моих слов. И еще переживаю за сплетни. Я сразу сказала, что не хочу, чтобы на работе кто-то знал, пока у нас не будет понимания, что все серьезно, но другие коллеги так или иначе замечали, что на обеды мы уходим вместе, что много общаемся. Я не ветреная девушка и не планировала влюбляться, а тут так вышло, еще и не получилось ничего. Не знаю, как мне выйти из этой ситуации.