На самом деле, он как раз и не ждёт такого вопроса. Если это такая манипуляция, то весь расчёт как раз на то, что "жертва" будет теряться в догадках, но стесняться спросить напрямую. Обычно такие горе-манипуляторы сразу теряются, когда их спрашивают в лоб. Обычный вопрос "зачем ты это делаешь?" сводит на нет все усилия.
Также, если ты спросишь, будете ли вы дальше общаться или нет, поставит его или её перед выбором. Или общаемся или не общаемся, а эти непредсказуемые появления и пропажи больше не прокатят.