Значит у вас на первом месте дети, а не мужчина. Вы имеете право делать именно такой выбор, просто вы должны понимать последствия: мужчина не будет на втором месте. Тем более это дети не его. Он видит, что для вас не он в приоритете и со временем его чувства начинают угасать. Потому что по факту вы выбираете не его. Неважно кого, но не его.
Сыну нужно было просто объяснить, что вы взрослая тетя, живой человек и имеете право налаживать личную жизнь. Как минимум, отец вашего сына ее наладил. По факту вы пошли на поводу у ребенка, за что он, кстати, не скажет "спасибо", когда вырастет и уйдет в свою самостоятельную жизнь. Вам нужно было к детскому психологу его поводить.