Бросать ли мужа из-за его сына?

Девочки, вот такой неоднозначный вопрос. С мужем в браке, когда только встречались я почти сразу сказала, что сына его не приму. Он согласился, говорил что беспокоить не будет. Я поверила, забеременела. Родился ребенок. И, так получилось, что теперь мы с его сыном живем на соседних улицах! Чуть что- папа помоги, папа подвези. Бывшая жена просит самого сына ему звонить с просьбами (ему 11 лет) и папа отказать не может. Постоянно скандалы из-за этого. Дошло до того что он его возил в школу(!) каждый день. И чуть ли не каждый день ходит с ним на турники заниматься. Хорошо хоть домой к нам я его категорически запретила водить. Я в это время ессно с нашим общим ребенком. И постоянно приговаривает что он "не бросит сына". Хотя он его по сути уже бросил, когда развелся с первой женой! Бесит ужасно. Уже готова к тому чтобы сделать его нашей общей таким же воскресным папашей. Что делать? Есть ли способ отвадить его? Давно бы бросила его, если бы не совместный ребенок((.