Все вокруг умнее меня

Мой парень прямо говорит в разговоре, что некоторые люди умнее меня. Я понимаю, что это может быть шуткой, но учитывая, как часто он это делает, мне больно и неприятно. Ситуация следующая, мы встретились с его сестрой, у которой есть сын и дочь маленькие. Ну вот он сначала пошутил, что мальчик умнее меня, потому что он маленький гений, позже говорили о девочке, то она тоже оказалась умнее меня.. Ну ок подумала я, это шутка. Вечером он поссорился со своей сестрой (из-за разных взглядов на одну ситуацию), и когда мы об этом говорили, он сказал, что она тяжелый человек, я сказала, что в таком случае они заслуживают друг друга, потому что он тоже довольно тяжелый и сложный человек (по моему мнению) на что он среагировал не совсем адекватно, ибо как оказывается( с его слов) я имела в виду, что они оба тупые дураки, поэтому и говорила, что заслуживают друг друга, ну в конечном итоге я услышала, что его сестра во многом умнее меня - снова. До этого были и другие схожие ситуации, когда я не обращала на эти слова внимания.. Вчера я просто закрыла эту тему и не хотела с ним говорить, потому что он считает что это моя вина, и я испортила его вечер.