Как быть с лучшим другом?

Здравствуйте. Хочу услышать советы . Мне 25 , я замужем , есть ребенок. С 16 лет дружу с одним парнем . С ним много моментов хороших было , многое можно вспомнить. Я верила в эту дружбу , и вместе проводить время нам было хорошо. Были , конечно, этапы , когда отходили друг от друга ( после окончания школы ). Он находил себе новое окружение. Но потом как то постепенно опять бегали вместе. Дружить начали на фоне общей проблемы - мы были изгои в школе. Да, были моменты, когда мне казалось, что друг ко мне не ровно дышит . Предлагал встречаться по пьяни , иногда обнимал , говорил, что будем как друзья вместе жить , но я не придавала этому значения, потому что он младше меня на 2 года . Из за этого я не могла представить его в роли будущего мужа , да и он в открытую никогда не говорил, что любит меня. Наоборот отпускал шутки в мой адрес , говорил , что никогда со мной бы не стал встречаться и ТД.
В 20 лет я познакомилась с мужем , потом мы поженились . Я уже встречалась с другом гораздо реже , и без специальных встреч . Могли случайно встретиться на улице , поболтать о чем то. Потом , конечно же, мужа такое моё окружение не устроило, и мне пришлось прекратить общение. Мой друг просел в жизни, перестал развиваться. Так и живёт с мамой, работает кассиром и живёт как депрессивный человек, иногда пьет . Сейчас я практически не знаю о нем. Иногда вижу его на улице ( город небольшой ).
Хочу совет. Правильно ли я поступила, прекратив общение ? Мне стыдно за это, но и я понимаю, что будучи замужем, я больше не могу бегать с другим парнем . Даже если он меня все таки любил, то надо было раньше думать .