Почему он удерживает меня?

Такая ситуация непонятная. В общем поняла, что с парнем мы совершенно разные вплоть до того, что даже разговаривать не о чем. И оба прекрасно знаем об этом. Постоянно ссоримся-миримся-ссоримся-миримся и так далее. Но происходит это очень часто. Он часто стал критиковать меня, высказывать недовольство по поводу того, какая я. Может прямо сказать, что я его бешу или раздражаю. А я такой человек, что если понимаю, что не устраиваю человека, или ему трудно со мной, то я сразу же мирно уйду. Я вижу, что ему как-то все равно на меня что ли, но каждый раз, когда я говорю, что я могу оставить его в спокойствии и почти это делаю, то он сразу говорит "что за бред" и по аналогии, то есть держит меня. Я не пойму, зачем удерживать меня, если я не устраиваю его?