Была похожая ситуация. Никак ты не повлияешь на него. Если есть возможность меняй работу. Стоит ли оно того? Еще и риск потерять семью. В общем беги, иначе он так и будет тобой пользоваться.