Муж ненавидит мою любовницу

Мой муж ненавидит мою любовницу. Ревнует. Считает, что я слишком часто общаюсь с ней, ночую у неё. Чаще, чем с ним. Изначально мы с ним договаривались, что у нас свободные отношения, то есть имеем партнеров на стороне и это не считается изменой. Меня и его это устраивало. Но сейчас муж считает, что моя любовница мне не подходит. Я не хочу с ним ссориться, но и выносить это не могу. Так мы любим друг друга, но по факту у него была только одна девка после брака (проститутка), а у меня постоянно новые отношения. Мужа всегда все устраивало, а сейчас он угрожает убить мою любовницу, что я была только с ним. Нормально ли это?