У сына уже своя семья, но он все равно пытается меня наказать

Подскажите, что делать с этой ситуацией?
С бывшим мужем развелась, когда нашему сыну было 13 лет. Инициатором развода была я, но для бывшего это не было шоком, все к этому шло. Развестись надо было раньше, но все переживала, что сын маленький, а потом надеялась, что может что-то еще изменится. Но вот самая жирная точка появилась, когда я потеряла ребенка, а он остался просто равнодушен.
Бывший очень был настойчив, очень хотел, чтобы сын с ним остался. Мне казалось, что он этого хочет, чтобы меня наказать за развод. Уверена была, что сынок со мной останется, но он сказал, что будет жить со мной только при условии, что я больше замуж не выйду. Я не могла дать такое обещание, и сын остался с отцом. Переубедить не получилось.
Все осудили меня: и мама с папой, и сестра (от нее не ожидала), и даже подруги. Но с сыном виделись почти каждые выходные, постоянно на связи были, думала, что наши отношения более-менее выровнялись. Уже вроде привыкли, что развод состоялся, но мама и папа остались его родителями, думала, что кризис миновал.
Вскоре бывший женился, для меня это было неожиданно, потому что сын никогда не говорил, что у него есть постоянная женщина. Я пыталась с мальчиком поговорить, узнать, не испытывает ли он проблем из-за новой жены отца, может хочет переехать ко мне. Он отказался, сказал, что все хорошо, ничего не поменялось. Сказал, чтобы я не переживала.
Примерно года через полтора я тоже вышла замуж. На самом деле долго оттягивала этот момент, ступор какой-то был перед новым браком. Но хотелось еще детей, решили официально расписаться. Но сын не то, чтобы не порадовался за меня, а, наоборот, не поздравил, перестал звонить первым. Стали с ним намного реже видеться, в гости ко мне перестал приходить, в отпуск хотели взять с собой – отказался. Было очень сильно обидно, до слез.