Да, это ужасно бесит. Автор, хоть вы пишите, что не можете не обращать внимания, но тут только не реагировать. В такие моменты просто находить то, что отвлекает, что бы вы не концентрировались на нем в этот момент. На лице, на тоне, пытаясь понять настроение.
Если говорить он не готов, то ждите пока захочет.
А если будет обижаться, "на ваше безразличие" к его обидам, а он будет, судя по типажу)), то так и говорите, что вам не все равно, но как вы можете решить проблему, если ты не разговариваешь? Вот и ждете, пока он будет готов.