Я думаю, что стоит серьёзно сесть и поговорить с мужчиной, разобраться, какие причины могут вызвать данную проблему. Хорошо, если вы сходите к психологу вместе, но для начала нужно все таки разговаривать именно "по душам". Если же мужчина наотрез откажется даже попытаться разобрать проблему, то тогда только один выход - расставание.