Мало ли что он говорит. Может кормит вас завтраками чтобы не ссориться и продолжает дальше жить спокойно. Его видимо все устраивает, не он же после работы куда-то в другой город едет. Так что у вас два варианта: либо оставить все как есть, либо самой что-то с этим сделать.