Терпеть или уйти

Добрый день, помогите, пожалуйста, принять решение. Живу с мужчиной 3 года в гражданском браке. Сначала, конечно, отношения были очень хорошими, теперь скандалы все чаще. Мои претензии в том, что он имеет привычку периодически напиваться с друзьями в кабаке. Он же считает, что в этом ничего страшного нет, может прийти домой под утро, на мои просьбы никак не реагирует. В последнее время еще стал обзывать меня. Глупой меня назвать сложно с двумя моими красными дипломами и 10-летним стажем работы программистом высшей категории, тем более мне обидно это слышать от человека с 9 классами образования и 20-летним стажем работы водителем. Зарабатываю я столько же, сколько и он, бывает и больше, денег сначала совсем не давал, теперь дает 10 тысяч в месяц и платит за квартиру. Квартира, где мы живем, моя, машина тоже моя, все, что есть в квартире куплено мною после развода с первым мужем. При этом, он в прекрасных отношениях с моей дочерью от первого брака, с родственниками тоже, они все призывают меня закрыть глаза – «мужик же он хороший»…Вот и терплю, и не знаю, а стоит ли..Жениться он не хочет, говорит, что я ему совсем гайки закручу.. Может, я что-то не так делаю? Конечно, я обижаюсь, неделями не разговариваю, жду, что он хотя бы скажет «извини»- ни разу еще не дождалась..Уйти - больно и страшно, остаться – обидно..что делать?