Горе-любовник...профи в отношениях - посоветуйте как себя вести

Здравствуйте! Если кто-то сможет хотя бы чуть-чуть внести ясности, буду очень признательна.
Ситуация следующая. Я замужем, есть любовник (если его так можно назвать)- он холостой, но влюблен в какую-то там бывшую пассию.
Начало отношений: я ему очень понравилась (увидел меня на работе), по специфике своей работы иногда бывает у нас в офисе. В общем завязались отношения (секс был всего 3 раза) знакомы пол года. Он в какой-то момент во мне растворился, даже про пассию позабыл (строил какие-то планы на счет меня), но мне это не к чему, я не навязчивыми фразами, спустила его с небес на землю, что от мужа никогда не уйду.
В общем дело обстоит так: звонит, пишет: "Хочу, ты классная, скучаю, будь со мной" пропадает на неделю, естественно объявляется, и так неоднократно. Когда ему писала я, мог отвечать просто сухо "Да, нет", ласковые слова и приступы нежности ко мне видимо у него по настроению случались.
После Нового года месяц ни слуху не духу от него, я тоже ничего не писала, подумала "Ну и фиг с тобой" честно говоря начала его забывать вообще. Но нет же, через месяц пишет, как же о себе не напомнить: "Соскучился, хочу не могу и т.д.,". Через пару дней после его вот этого "Хочу не могу" пишу ему: "Есть возможность увидеться, давай встретимся и т.д." , он отвечает отказом, отмазался как-то нелепо!. Ну после такого естественно, мне стало не приятно....не понятно, что хочет тогда???? Пишет скучаю, хочу...предлагаю встретиться - отказывается!
Пишу ему: "Мне надоело, что ты общаешься со мной, только когда тебе этого хочется, когда пишу я отвечаешь так, как одолжение делаешь, не хочешь ничего- давай не будем, тебя никто не заставляет, но вот так меня тоже не устраивает. Можешь не появляться раз в месяц, чтобы я о тебе не забывала. Хочешь со мной дружить давай тогда обоюдно, а не только под твое настроение. Либо давай прощаться: ты любишь свою пассию, я люблю мужа".
Он отвечает: "Да я люблю пассию", "С тобой конечно дружим, иначе и быть не может"...
Так вот вопрос: Что ему нужно??? Пишет что хочет меня, предлагаю встретиться отказывается (причем так нелепо отмазывается) аж противно, как будто это я к нему навязываюсь. Сейчас я так понимаю вообще перевел все в стадию просто дружбы и общения...только вот зачем ему это? Я то ведь была как раз за отношения без обязательств и просто секс, никаких требований, никаких претензий. Я в него не влюблена, но он мне очень приятен, человек интересный, секс классный...
Что за непонятное поведение у него не понимаю.
Моралисты, прошу Вас, комментарии про мужа и про то, какая я плохая пожалуйста не надо а - это совершенно другая тема.