Вы в браке? Вопрос ребром надо ставить. Если хотите быть с ним, прижмите к стенке так сказать) что ее бросает и точка, а то вы кричите, что все, а потом каждый раз прощаете, он понял, что так можно. Подключите маму на вашу сторону, пусть он женится на вас.
И подумайте нужен ли вам такой мужчина, гулящий и который у мамы спрашивает, как быть, решать вам.