Тяжелая ситуация, но надо это решать. Мне кажется мириться с этим нереально. Попробуйте может пристыдить его? При матери или друзьях. Скажите мол да вот общается , дорогой,расскажи? Откуда она?
Такую небольшую огласку этому придать может.
А дети да,они не остановят мужиков.
В идеале уйти и оставить его со своей рукой.
Но с таким количеством детей это не просто.

Как вам ещё вариант, сходить к психологу? Может с ним получится проработать вашу проблему? Может он добавит вам уверенности