Что значит, он не уходит? Тем более, квартира - Ваше личное имущество.
К Вам же не может подойти посторонний человек, взять Вашу вещь и не отдавать просто потому, что 'ОН НЕ ОТДАЁТ'.
Разводитесь, выгоняйте. Маму к себе берите, её квартиру сдавайте. И живите счастливо!