тут не важно что делал его отец. важно как вы реагируете и как вы позволяете к себе относиться. Если вдруг когда-нибудь он вас ударит - ударьте в ответ! пусть даже до драки дойдет, но он должен знать, что вы себя не позволите обижать, тем более кулаками.
К слову: если бы вы его любили, вам бы даже в голову не пришла идея того, что он вас мог бы ударить. как-то так...