А была ли любовь?

Я второй раз замужем, есть сын от 1-го брака, живу в своей квартире, сама хорошо зарабатываю, с бывшем мужем и его новой женой ровные отношения. Независима.
Мой второй муж: из другого города, двое детей, без жилья, без постоянной работы, без денег. Закодированный мной год назад. Но любовь зла. Все принимала.
Проблема в том, что я перестала ему доверять во всем: мне кажется, что он ведет двойную игру. Пользуется мной во всех смыслах. Перед БЖ на задних лапках, так как если он будет с ней конфликтовать, она подаст на аллименты, а он не работает постоянно и не стремиться к стабильности. Она постоянно нас беспокоит разной ерундой, хотя живет в другом городе. Ладно б по вопросу детей, это нормально. Но там до абсурда доходит, вплоть до того, на какую кнопочку нажать на компе. Пару раз заставала его щебечущим с ней на лестничной клетке в 5 (!!!!) утра. Я б своего бывшего послала б с таким звонком. Пару раз сомнительные смс от нее, на что он говорит типа "она номером ошиблась" или еще какой-нить пободный бред. Так я прожила 3 года. Но сейчас ситуация : он чуть заработал денег и сразу же засобирался в другой город к детям на НГ. Я говорю, поехали вместе, я хлопот не принесу, я твоя офиц жена, хочу посмотреть со стороны на ваше общение, так как подозреваю, что меня водят за нос. Он уперся, нивкакую. Типа БЖ не отпустит детей, если он приедет СО МНОЙ. Надо заметить, что я его из семьи не уводила, они расстались ДО меня и я вообще с ней не знакома лично. В свою очередь своих мужчин она смело знакомит с детьми и проводит совместный досуг. Вчера поставила мужу ультиматум : либо едем вместе К ДЕТЯМ, либо едет один, но мы разводимся. Так же своим подружкам он часто жалуется на то, что я его достаю и много требую. Мне это тоже неприятно. Я же не рассказываю никому, что он алкоголик и сидит у меня на шее не первый год, переживаю это внутри. А он любую мелочь выносит на суд непонятным людям. Это тоже кажется странным.
Может я в чем-то не права? Объясните, в чем?