Если бы брат боялся разрушить свою семью, то не спал бы с другими бабами, да еще и без защиты. Так что самый виноватый тут - ваш брат. А эта женщина свободная и к ней претензий ноль. Хотите общаться - общайтесь. Но с женой брата это испортит отношения.