Вы описали поведение его. Ваше поведение он не описал. Всегда выслушивают обе стороны. Поставьте себя на его место. Если Вы бы хотели, чтобы он с Вами поступал как Вы с ним, то это один вопрос. А если бы не хотели, то тогда нужно менять свое отношение. Подойти к этому вопросу честно.
Мой дед всю жизнь гулял, не скрывал, мог выпить и бабушке по мордасам дать. А мне всегда жаль было деда. Я не могу понять того, почему он ее не бросил когда дети повырастали. Сколько было у него мужества и героизма жить с ней.