Мужчины от любви не меняются. Раз у него рука поднялась на одну девушку, так почему же не поднимется на Вас? Тем более измена - это проявление неуважения к своему партнеру. Уверена, встретите более адекватного человека.
Я бы ушла незамедлительно.