1. А зачем вы с ним общались дальше, если поняли, что не заинтересованы и встречаться не хочется?
2. Смотрите, вы терпеть не можете голосовые, да? Могу понять, тоже не терплю их. Но почему вы об этом не скажите? Все мы люди разные, у каждого из нас свои загоны, как человек должен был понять, что вам голосовые не удобно? И тут получается, сами не сказали, но себя еще и оправдываете этим.
Извинитесь и скажите все как есть. Произошло сильное недопонимание по вашей вине, человек вероятно был уверен, что вы в нем заинтересованы так же как и он. Вас дважды спросили про встречу, вы не дали четкого ответа