Если вы после этого остались с ним, и спокойно продолжаете жить под одной крышей - нормально, и с вами так можно. Потому что уважающая себя женщина, во-первых, не стала бы хе/рачить на двух работах, пока недомуж на диване себе задницу чешет. А во-вторых, так бы словесно прошлась на его этот вы/сер, что недомуж заткнулся бы и молчал в тряпочку.