Вы сами ответили на свой вопрос. Зачем быть в отношениях с человеком, которому вы не нравитесь (внешне, внутренне)?
Да и может быть дело не в вас вовсе! Но не стоит позволять ему срываться на вас, уважайте себя, и тогда он это почувствует и станет относиться к вам также.