Отношения с братом

Не клеятся отношения с братом, он меня всё время презирает, сейчас настраивает и своего сына против меня. Племянника я растила вместе с бабушкой-моей мамой, его мать, гражданская жена брата -погибла, когда ребенку было 3 года. Занималась я с ребенком, читала ему, гуляла, возила на ёлки, в парки, музеи и т.д. Жили все вместе.Брат никогда ни с кем не считался, мог прийти в 1 ночи и ходить по квартире, греметь, а мне вставать в 6,30.Особенно сыном никогда не занимался, бегал по бабам и т.д. Потом брат уехал в квартиру матери своего ребенка.Сейчас уже 4 года, как брат живёт с племянником отдельно,племянник приходит к нам после школы, мы его кормим, разговариваем.Всё чаще ругаемся, т.к. говорит мне всякие неприятные вещи, унижающие меня. Своей семьи нет, нет детей, поэтому такое слышать от взрослого уже племянника ( заканчивает школу)обидно. Были у кого-нибудь подоные случаи и как себя вести?