Если вы согласны работать над собой, то почему не работаете? Ждете, пока он начнет меняться? А вы не ждите. Бесполезно пытаться менять другого человека. Можно измениться только самой. А он потом может измениться. А может и нет.
А уж вопрос "отпустить" вообще не понимаю. Это как? Вы в его штаны вцепились и не отпускаете что ли? Если человек захочет, то никто его не удержит.