Скажите ему, что если ещё раз он будет вас выгонять, то вы реально уйдете.
И если это и правда произойдет, вы должны будете уйти, иначе ваши слова будут пустыми.
У меня было такое в первом браке: муж периодически в ссорах гнал меня из его квартиры, я все терпела и не уходила. Потом он начал орать на меня при гостях (тоже гнал из дома). Это человек такой; я устала это терпеть и мы развелись.