Чувство вины перед мужем. Прошу трезво оценить ситуацию

Начну с того что я вышла замуж 8 лет назад, сразу забеременела и родила ребёнка. Через год после рождения сына мужа сократили на работе и начался весь ужас. Человек не хотел искать работу, то одно не нравилось, то другое, все свободное время он играл в игры или тупо сидел в телевизоре. На мои просьбы найти работу на меня лилась грязь и оскорбления и маты. Дошло до того, что нам не было кушать вообще нечего!!! Узнав о наших проблемах друг моих родителей предложил мне и мужу идти работать к нему в компанию, однако нужно было переехать в соседний город. Муж отказался, сказав что этот город не его уровень, а я психанула и поехала, т.к.устала сидеть в постоянном тотальном беденежье. Так продолжалось 3 года, муж сидел, я работала, жили мы в разных городах, встречались 1-2 раза в месяц, т.к. у мужа не было денег на бензин чтобы к нам ехать. В один момент меня переклинило и я собралась подавать на развод. После этого муж поменялся, нашёл работу, мы начали жить вместе и всё бы нечего. Скажу сразу, за весь период я мужу никогда не изменяла- никаких физических контактов, поцелуев, обниманий, романтических переписок и встреч не было. Однако меня мучает один момент в жизни. В тот момент когда мы жили отдельно у нас был корпоратив на работе, мы трое коллег девочек и два парня с отдела выпили вина и после корпоратива пошли провожать одну из девушек домой. Пока шли другой девушке стало плохо, а рядом как раз жил один из коллег парней. Мы зашли к нему домой, коллега сделала все свои дела в туалете и парень коллега предложил выпить еще вина. Все согласились а я пить отказалась, посидела ещё минут 10, вызвала такси и уехала домой.Остальные так и продолжили дальше отмечать. На данный момент с мужем все ок, но если он когда нибудь узнает что я была на квартире у мужчины, пусть и 5 лет назад, хоть там ничего такого и не было это будет ужас, мне кажется он даже может развестись со мной из-за этого.Тем более с одним из коллег он знаком.Чувствую какую то вину перед мужем, незнаю как быть