Ну раз не намерены, то так ему и скажите..
" Иван Иванович/ Иван ( хэзэ, как у вас принято), вы можете быть недовольны моей работой, но это обсуждается у вас в кабинете. Иное недопустимо"
Ну раз недопустимо для вас, то как иначе то..
Он или прислушается. Или нет. Если второе, то вы будете это терпеть, раз, по какому то невероятному стечению обстоятельств, других вариантов работы на свете нет