Бороться если, то идти до конца, тк с такими только силой можно, если начал.
Более сложный психологически, но менее опасный физически вариант, это максимально на него забить и делать вид что пофиг, со временем станет легче. Построить забор для себя, если надо и не считаться с его мнением абсолютно, учитывая, как он сказал про твою жену.