Мужчина любит гулять по выходным...

Здравствуйте форумчане! Я живу с мужчиной 3 года, у меня есть ребенок не от него, но он очень любит его и меня. Вроде все хорошо в буднии, но как наступает суббота, ему надо то на рыбалку с ночовкой, то гулять с друзьями, тоже с ночевкой бывает. Говорит, что с друзьями просто пьет! Если я обижаюсь потом и не разговариваю с ним, то он тоже молчит, пока я сама не подайду, по смс когда на работе, пишет прости меня, а мне лично не скажет. Если скандалю, то обматерить может. Зато мне гулять не разрешает, сама пойти не могу, у меня ребенок. А сидеть с ребенком не соглашается, если я куда то с подругами соберусь. Он уходит в субботу типо по делам и в итоге может пропасть на ночь, и на звонки не отвечает. Низнаю, как его и дома задержать, вроде обещает, что не будет гулять в выходные, но в итоге пропадает. Как удержать и стоит ли удерживать?