У вас три варианта.
1. Терпеть и все прощать.
2. Сказать, что вас такое не устраивает, если продолжит в том же духе, пригрозите разводом
3. Развод, уходить и подавать на алименты.
Примите к сведению, что он не только вам нервы треплет, но и вашей старшей дочери. В таком состоянии ей скоро потребуется психолог.