разводится или нет? Посоветуйте!

Здравствуй мне 27 лет. Первый раз вышла замуж 19, прожили 3 года брак распался. В результате я осталась с ребенком на руках. Через короткий период познакомилась с парнем на три года младше. Мы сильно влюбились друг друга. Год встречались, после поженились. Мою дочь принял как свою, у нас родилась совместная дочь. Относится хорошо к обеим дочерям. Между нами всякое было и ссоры, примирения. Но у него иногда случаются вспышки агрессии, хотя он не пьет. Он может поднять руку на меня. Потом просит прощения и прощаю. Говорит, что сама я его вывожу из себя. Вот, например, когда заходит ссора. Я говорю, что он неудачник, что только трус может поднять руку на женщину. Так как во всех своих неудачах он привык винить меня, или своих родителей. (Мы живем вместе с его родителями, сам он не состоянии обеспечивать семью, настоял на совместном проживании, хотя в другом городе мама моя купила мне квартиру, жить там он не хочет. Мы пробовали там жить, он не работал, мне одной было тяжело тянуть семью. Потом переехали к его родителям.
Вот я подвожу к последнему случаю он ударил меня кулаком по телу. Я от обиды даже боль не чувствовала.Когда сказала, что вызову милицию, если он не прекратит, он нанес удар кулаком в голову. Некоторый период не разговаривал, а потом как ни в чем не бывало. Видя, что я настроена, уехать и забрать детей. Начал извиняться, услышав мое "нет". Сказал дочь свою забирай, а свою он мне не отдаст. Я в отчаянии, не знаю, что делать. Совместной дочери 2 года. Я понимаю, что любой суд ее оставит со мной, так как он даже не работает.
Но дело еще в том, что моя старшая дочь5 (лет) очень привязана к нему. Не хочет нашего развода. Он говорит ей: "мама хочет уехать Вас забрать?". Я ненавижу его!
Я не знаю как поступить, чтоб не травмировать детей жить с ним, или как быть. У меня второй неудачный брак? Может просто я сама виновата. Может, действительно, мой язык доводит его до рукоприкладства? Что мне делать?