Стоит ли мне прервать общение с ним? Помогите разобраться в себе!

Доброго всем времени суток. Я замужем. После свадьбы я решила, что нужно поменять еще что-то, и поменяла работу. Отработав там пару месяцев, я познакомилась с другим мужчиной, на тот момент с мужем у нас был кризис в отношениях, он не хотел работать, взаимные придирки, нехватка денег и.т. п, он начал говорить при каждой ссоре давай разводиться, я находилась в подавленном состоянии и тут нарисовался он,как говориться .. сотрешь, принц. В начале у нас были просто дружеские отношения он подвозил меня после работы домой, мы общались, потом он начал ко мне приставать, причем я в первый раз в жизни поняла что значит хотеть мужчину, но далее оральных ласк у нас ничего не зашло, слава богу. Такое общение у нас продлилось месяцев пять. Когда я поняла что все "пропадаю", да и перед коллегами не удобно все знали что я замужем, а мы все не занятое работай время проводили вместе, я "сбежала", уволилась и устроилась на новое рабочее место. При этом в моем муженьке тоже стали происходить разительные перемены, стал заботливый, внимательный, подарочки дарить начал. Сбежала я и думаю все, все кончено через пару месяцев наш служебный романчик забудется, ничего подобного. Прошло уже около двух лет с нашего знакомства, а он как был в моей жизни так и остался. В основном мы с ним общаемся по средствам переписки, раз в месяц он ко мне приезжает на работу, зачем он это делает я не понимаю, при этом я испытываю чувство вины перед своим мужем, так как у меня сильное влечение к этому человеку, хоть и близости у нас не было. Стоит ли мне прервать это общение, не приведет ли оно к не хорошим последствиям? Пыталась уже много раз не получается. Как заставить себя отказаться от этой маленькой слабости.