Вы скажите мягко, что вам нужно время в тишине. Вы подумаете, разложите мысли по полочкам и, может быть (только может быть), к нему еще вернетесь. А если он и дальше будет каждый день вас донимать и пытаться вернуть, будет только хуже. Это не обидные слова и вроде как должны его успокоить.
А вот если он всё равно будет доставать, тогда ваша тревога вполне оправдана.