Советую вам бросать этого человека. Люди нечасто меняются, да и чтобы перемены наступили, им нужно понимать, ради чего все затевается. На мой взгляд, этот человек вас не ценит, внушает вам чувство вины. Это может принести вам проблемы с самооценкой в будущем. Решиться на расставание нелегко, но через время станет гораздо легче