За мной ухаживает мужчина, у которого есть ребенок. Как отказать?

Познакомились на сз. Слово за слово, узнала, что он был женат (в разводе) и есть ребенок. Виделись один раз, понравился. Пишет, звонит, зовёт на новую встречу. Можете меня ругать, но меня смущает момент, что у него есть ребенок. Я вижу какое теплое у них общение, ребенок у него все выходные. Он хороший отец. Девочки, но я не вижу для себя будущего с ним, в таком формате. Мне 24 года, ему чуть за 30. У меня у самой есть любимый папочка и я не представляю, чтобы мой папа ставил в приоритет какую то женщину, а не меня. Поэтому я не хочу вставать между ним и дочкой, чтобы он сдвигал время их общения ради меня (т.к я тоже могу видеться лишь в выходные, т.е когда дочь у него). Ещё есть подозрение, что с женой они все таки когда нибудь сойдутся, т.к в разводе недавно, и у его мамы на страничке есть ее фото до сих пор. Наверное, я эгоистка, но хочу такого же парня "без прошлого" как и я. Парень неплохой, но так я не смогу, это не для меня. Да и чувств пока не возникло, не хочу развивать дальше. Как ему помягче отказать, так как обидеть его я не хочу?