Вам стоит четко обозначить личные границы и не позволять брату лезть в ваше личное пространство. С какого перепуга уйти из дома должны Вы, а не он? На тему угроз физической расправы рекомендую записать на диктофон и сохранить. Не думаю, что брат жаждет пойти под суд за нанесение телесных повреждений.
Так что живите где Вам выгоднее и получайте образование.