Сводит с ума двоюродный брат супруга

Встретила мужчину. Вспыхнуло. Очень понравился, быстро поженились,толком,можно сказать и не встречались. Муж оказался с, мягко говоря, сложным характером. Дома частые скандалы в духе бразильских сериалов: с битьем мебели и посуды. Он-москвич, я родом из другого города и по ряду причин мне приходится ездить из Москвы в родной город по нескольку раз в неделю. Его это очень сильно раздражает, как и мое желание родить ему ребёнка. Хотя до брака он наоборот говорил постоянно что детей очень хочет и не одного))
Примерно через месяц после того как я встретила супруга, он познакомил меня со своим двоюродным братом. Месяц мы просто общались, у него сложная жизненная ситуация-развод и маленький сын,которого он через суд хочет забрать к себе от матери. Ребёнок просто чудо, и как-то так получилось что малыш стал ко мне тянуться, да и я честно говоря, стала к нему привязываться. Из-за того что брат мужа много работает, а мать в воспитании ребёнка никакого участия не принимала уже на тот момент, брат попросил меня по возможности помогать ему с сыном: посидеть,погулять и т.п. Отпускал даже его со мной в мой родной город. И вот то ли на фоне таких отношений с его сыном, то ли причина в чем то ещё, но мы как-то сблизились. Началась, можно сказать, дружба. Очень хорошо друг друга понимаем, в нескольких сложных ситуациях он протянул руку помощи.
Но недавно ситуация вышла из-под контроля. Муж мне изменил. И я вспылила, решила ударом на удар ответить. И к тому моменту я уже знала что брату мужа нравлюсь и воспользовалась этим. Дважды... Проблема в том, что мне это не даёт теперь покоя, как и брату мужа-он всегда рядом, не то чтобы преследует, скорее оберегает, всячески заботится... и мне это нравится. Муж про все знает но развода не хочет. Говорит что изменится ради меня. А у меня в мыслях его двоюродный брат. Что делать? Может общаться перестать?