Мужчина не хочет общаться с моим сыном от прошлого брака

Просто хочу послушать мнение со стороны, для себя уже все решила. Встречаемся с мужчиной год, о ребёнке знал изначально с первого дня знакомства. Сейчас ситуация следующая, живем вместе примерно месяц, мужчина полностью избегает ребенка, приезжает домой после того , как он уснет, просыпается , собирается, уезжает "по делам". Сыну 6 лет, не лезет, не раздражает, не орет по всему дому. С мужчиной пыталась поговорить , сказал прямо , не хочу и не могу, говорит дискомфорт вызывает ребенок , выходить с утра не хочет из комнаты, чтобы ребёнок не видел лишь бы. Прямо говорит не приму , я говорю значит расход , потому что дальше так продолжаться не может , но не уходит , говорит любит меня сильно и сам не понимает как дальше быть в этой ситуации.
Живем у меня , но у него нет проблем с жильём, уйти может спокойно в любое время. То есть , вопрос жилья не стоит. Бюджет у нас общий , если можно так назвать , денег не жалеет , все покупает. На праздники ребёнок уезжал к бабушке ,мы были вместе 24/7 с мужчиной, то есть не было такого , чтобы он уезжал рано и приезжал поздно, такое происходит именно когда дома сын. Я понимаю, что смысла тянуть дальше нет , но у меня иногда проскальзывает мысль , что все может измениться. Спрашиваю зачем тянул год, если знал , что не получится, говорит все приходит с опытом , говорит понял только со временем, что не смогу. Что думаете?