Чуть не умерли от скуки в гостях - прилично ли было уйти?

Хочу поделиться с вами такой ситуацией. Двоюродный брат мужа пригласил нас на день рождения дочери - в этом году он совпал с Пасхой. С удовольствием согласились, поскольку с ним и его женой находимся в хороших отношениях, часто бываем друг у друга в гостях - но узким семейным кругом. Но в этот раз все пошло как-то наперекосяк.
Приехали к ним - у них оказалось человек 20 гостей, из которых мы не знаем никого, кроме двоюродной сестры мужа. И это ничего, скажете вы - можно пообщаться, познакомиться. Но получилось так, что нас с мужем посадили в дальний угол и просто о нас забыли. Брат мужа разрывался между всеми гостями, его жена беседовала с двумя подругами, ни на кого не обращая внимания. Сестра мужа сидела далеко, с ней было не поговорить. Попытались пообщаться с соседями по столу - в ответ взгляд как на пустое место и нулевая реакция. Все друг друга знают, разговаривают друг с другом, мы с мужем сидим и разговариваем вдвоем.
Часа через 2 почувствовала, что умираю от скуки. Предложила мужу съездить поздравить свекровь - она к себе звала, но мы отказались из-за приглашения в гости, только по телефону поговорили. Муж оживился, согласился, мы объяснили ситуацию хозяевам - мол, надо съездить маму поздравить, и отчалили.
Вечером мужу позвонил брат и сказал, что жена очень сильно обиделась. Что мы пришли как по обязаловке, подарки сунули, поели и убежали. Что гости были в недоумении, что мы родственники, а ушли раньше всех. И это все она восприняла как неуважение. Пока в шоке, не знаю как реагировать.
Нужен взгляд со стороны - где мы неправы?