Ок, давайте поговорим.
Сразу скажу, вероятность что у него к вам что-то серьёзное - мала. Иначе, он бы искал более частых встреч, а не наоборот. Но раз у вас такие чувства, то можете ещё немного попытаться здесь. Пару вариантов более-менее благоприятного исхода я всё-таки вижу.
Итак, вам надо понять, реально ли он над чем-то раздумывает (плохо, что вы не указали срок ваших "отношений", это важно), или же просто тянет резину, а сам уже решил что всерьёз вы ему не нужны, а только лишь для секса (ну или может для какого-то удобства, вдруг вы его вкусными борщами потчуете)?
Над чем он может раздумывать?
Он может рассматривать возможность совместного с вами будущего, но сам до конца не понимать, хочет ли этого. С одной стороны, это значит, что у него нечто большее, чем животный сексуальный интерес. Но с другой, это явно и не сильные чувства, и врядли уже таковыми станут. И тогда вам надо будет решить, устроит ли вас "одна любовь на двоих" (ну или 1,5). Как понять, что причина именно в этом? Не знаю. Думаю, простого способа тут нет. Присматривайтесь, задумывайтесь.
Также, есть всё-таки вероятность, что он испытывает серьезные чувства, но есть какой-то момент, который сильно его смущает, и поэтому тормозит. Можно попробовать это выведать. Заверьте его, что он смело может всё высказать, и что вы не обидитесь. Может у него есть какая-то объективная претензия к вам, которую он боится озвучить. Но самое очевидное - это, конечно, дети (ну, по сути младший). Может он не пылает большим желанием становиться ему полноценным отцом. Тогда, в зависимости от того, на что готов он, и что готовы принять вы, уже и решайте.