Ссоры с мужем.Кто прав,кто виноват?

С мужем вместе 4 года.Есть маленький полугодовалый ребенок.Я хочу поехать к родителям с ребенком,но муж не пускает.Дело в том,что у моих родителей есть еще один ребенок,мой старший брат и он инвалид,не разговаривает и вообще его нельзя оставлять без присмотра.Он довольно миролюбивый.Но муж боится отпускать меня с моим ребенком к родителям из-за моего брата.Один раз мы приезжали к моим с малышом,после этого выяснилось,что брат стал брать куклу и таскать в руках.Я понимаю мужа и отчасти разделяю его беспокойства по этому поводу.Но все же домой на пару дней хочется съездить.Предлагаю ему с нами поехать,наотрез отказывается.Родители могут приезжать к нам,но делают это крайне редко,арнументируя тем,что у них забота о моем брате и хозяйство(животные),их не оставить.Как быть?Кто прав в этой ситуации?