Отстаивайте свои интересы. Зачем вам отношения, в которых вам плохо? Плохо можно и одному жить. Вы достойны лучшего отношения, поговорите на чистоту. Если ничего не изменится - уходите. Люди ведут себя с вами так, как вы позволяете это делать. Либо вы «удобный» терпила, либо мужчина с твёрдыми убеждениями и самоуважением.