Как быть?

Встречаюсь с мужчиной. Оба уже состоявшиеся личности, у меня сын 13 лет и я живу с мамой в одной квартире. У него отдельная квартира и 3 детей от бывших жен. Работает, зарабатывает хорошо. Женится не хочет вообще, я приезжаю к нему на сутки два раза в неделю, говорит, что все устраивает. Но, когда праздники или отпуск, мы видемся все равно редко. Приехать ко мне нельзя и он не горит желанием знакомится с моей семьей. И один быть на праздники не хочет, а я не могу и не хочубросать сына на все праздники. Вот и получается, что на праздники и отпуск видимся мало.
Конечно, я считаю, что если мужчина хочет женщину, он берет ее к себе и принимает как есть и с чем есть.
А у нас не понятно, что происходит - вроде и нужная и жить вмсете не хочет.
Как быть мне? Бросать не хочу, но, чувствую, что ему мало меня, хоть он все понимает и говорит, что норм, все равно хочет быть со мной чаще.
Как со стороны?
Я не вижу причин менять график встречь, не могу же оставлять сынв одного, считаю это не по матерински и он согласен, но все же чувствуется дискомфорт.