Знаете... Вам всё это очень травмирует психику (нежную, подростковую, неокрепшую) и портит самооценку.
Лучше прекратить ездить туда, чтоб не терпеть эти нападки. Если отец спросит, почему не хотите - прямым текстом, по пунктам пересказать всё, что вас ранило в её словах и действиях (можете прям список от руки написать, чтоб не растеряться и не забыть ничего важного). Посмотрите на его реакцию. Если сразу начнётся уход в глухую оборону в духе "ты всё врёшь, она - ангел и сокровище, а ты пытаешься её очернить!!!", то, к сожалению, отца в эмоциональном плане у вас не осталось, только в биологическом.
Если же он прислушается, поверит вам и вы ему действительно дороги, то дальше сам начнёт разруливать эту ситуацию. Скорее всего, будете встречаться где-то на нейтральной территории, уезжать куда-то на выходные... Это - идеальный вариант, но во всём зависит от адекватности вашего отца.
Ещё вариант - может просто принять к сведению и слиться с общения, чтоб не обострять отношения с женой. Тут тоже приоритеты станут ясны...
Ситуация тяжёлая, но общаться с той женщиной в ущерб себе, терпя унижения, вы не должны. Иначе потом слишком сильно аукнется и очень много средств на психотерапию потратите. Естественно, после того, как её "заложите", ни о каком общении с ней (и при ней) речи не пойдёт.