Мужчина стыдится меня? Не берет на всякие мероприятия.

Я встречаюсь 4 месяца с мужчиной, ему 46, мне 25. Он очень привлекательный, спортивный, ухоженный, реально как с картинки.
Он уже ет 6 как в разводе, есть дочь.
Очень сильно мне нравится, тянет к нему, прямо с первой встречи. Секса у нас пока не было.
Но такое впечатление, что он стыдится наших отношений, разницы в возрасте. При том, что я еще и выгляжу младше.
Мы еще, когда начали встречаться, то он о возрасте говорил, что его это смущает. Он серьезный человек, хирург.
И вот недавно он должен был поехать на конференцию, сам же сказал, что все его коллеги едут с женами, ну или со второй половинкой, а меня не взял. Когда я спросила, почему, то он ответил, что ему будет некомфортно, что у него такая молоденькая девушка.
Вместо меня взял по работе девушку 29 лет, она тоже врач. Всего лишь на 4 года старше меня.
И он постоянно так. С его друзьями я вообще не встречалась.

Я обиделась и сказала, что пускай едет с кем хочет, мне это все надоело и нам лучше разойтись.
Поссорилась с ним. Он сказал, что я сейчас просто взвинчина, мол, ничего интересного на этой конференции и не будет, мне будет скучно.
Он сейчас уже 3 дня там, пишет мне смс и звонит будто ничего и не произошло.
Мне обидно, не знаю что делать.Как бы вы поступили на моем месте?

Может он стыдится того, что я всего лишь работаю секретарем/ассистентом на фирме и не занимаю такую престижную должность.
Сомневаюсь, что если бы я была начинающим врачом, то он бы меня не взял.