Новый начальник делает мне комплименты

Здравствуйте, подскажите как быть? мне 20 лет. Я уже полгода работаю в компании, все было нормально, но бывший директор заболел и на его место пришёл его брат. После этого на меня направлено повышенное внимание с его стороны, комплименты делает, зарплату повысил, когда я хотела уйти с работы, но попросил меня об этом молчать, чтобы другие сотрудники не знали. А как только узнал, что я одна живу, так вообще начал проситься ко мне на кофе, я не знаю как реагировать, просто молчу, думала шутит, но видимо он это всерьёз, все таки у него жена и дети есть. Разве это нормально так общаться с подчинённой? И как ему отказать, чтобы точно понял, что между нами быть ничего не может?