А я вот тоже не понимаю, складывается впечатление, что человек меня не слышит.
Так и есть. Он почему то решил, что вы должны резко жизнь изменить и поставить его в центре всего. Манипуляции. Пока вы заняты, он может заняться чем то полезным, наверняка есть свои дела какие-то.
Как корректно ещё раз объяснить, что у меня нет много времени проводить вместе из-за плотного графика работы, чтобы человек не обижался?
Хочу максимально избежать конфликта.