Не могу понять, почему у нас с ним нет ЭТОГО

Здравствуйте!
Я встречаюсь с мужчиной, которому 38 лет (мне 24). Встречаюсь полгода, при том, что были расставания 4 раза с ним на 2-3 недели каждое (из-за ссор). Я привлекательная, слежу за собой, поклонников всегда хватало.
Мы вот общаемся месяц как после последней ссоры, из-за которой мы 3 недели не общались, но дальше этого общения дело не идет. Я понимаю, первый месяц отношений, когда мужчина и женщина еле знакомы, и нет секса -это нормально, зачем спешить, но если мы знаем друг друга с октября и у него,и у меня точно никого нет, то почему, например, он не зовет меня в гости к себе (но рассказывает, как других до меня водил) или почему, когда я предложила ему придти к себе переночевать, начал отнекиваться?. У нас был отличный секс в самом начале отношений, но после этого - тишина.
Можно ли его отсутствие объяснить его холодной натурой (он совершенно не эмоциональный человек)?
И как у него самого узнать, почему он так себя ведет? Спрашивала вчера, привлекаю ли я его как женщина, он ответил, что да, очень. Так в чем же дело? Спрошу прямо - будет примерно такой диалог:
я: Ты меня не хочешь?
Он: С чего ты взяла? Хочу!
Я: так почему у нас нет ЭТОГО?
Он: На те вопросы, на которые я не хочу отвечать, я не отвечаю
(Характер у него такой эгоистичный).

Знаю, что если встретится достойный вариант, тут же уйду от него к нормальному, но пока что не встречала такого же умного, привлекательного, как он, и плюс материально обеспеченного. Хочется что-то исправить, но не знаю, как. Я вижу, как он на меня смотрит, когда я прихожу к нему в коротких шортах или обтягивающем платье, но дальше взглядов и ооочень иногда - редких прикосновений к моей попе дело не идет((