У меня достаточно похожая ситуация. Я считаю,что если это сразу не присеч,то потом уже поздно. Думаю,что зависит еще от того насколько Вы ему дороги. Конечно, особо не зная отношений ничего не скажешь...Нужно либо терпеть, либо радикально что-то менять.