На мой взгляд, квартира/дом, где живет человек (неважно, какой и кем он работает) это личная территория. Есть люди, что относятся к своему дому, как к проходному двору, но это редкие случаи и все-таки большинство понимает и разделяет "личное пространство" и "рабочее пространство". Вас напрягло именно это и я бы, на Вашем месте, доверяла своим ощущениям. Кафе - это действительно нейтральная территория и это уже проблема такого работодателя, который не видит (или говорит, что не видит) разницы между кафе и своей квартирой, пусть даже он ее арендует. Слишком много смущающих моментов. Я бы настояла на встрече в кафе, пойдет в отказ - значит и *** с ним, и с этой должностью (которая, скорее всего, на словах только такая классная, если работодатель к себе домой для собеседования зовет).