Попробуйте не в его доме, а в другом месте. Возможно, это будет сложнее, но попробовать можно. Или даже в машине.
А можете вообще прямо спросить его: "Что ты от меня вообще хочешь?" Почему нет?
Или перед следующим приездом к нему прямо написать, что если секса не будет, то вам не интересны чисто платонические отношения. Да, на этом может всё закончиться, но оно и без этого не лучше для вас сейчас, насколько вы описали. Нормальный человек всегда оценит честность и прямоту.