Испорченные отношения с мужчиной

Здравствуйте, я состою в отношениях с мужчиной, который старше меня на 28 лет. Сначала всё было замечательно, мы 2 года встречались и решили начать жить вместе, вот уже пол года вместе живём. За это время у нас всё плохо от слова совсем, мы постоянно ругаемся. У него есть дети от первого брака, естественно он видится с детьми, но когда приезжает туда, то ночует там несколько дней и везде катается с бывшей и детьми. Меня это конечно же не устраивает, я пытаюсь ему объяснить, что это неуважение ко мне, но он утверждает, что в этом нет ничего плохого, так как он с ней не спит, а просто с детьми находится (то что он с ней не спит это 100%). Дальше когда он звонит детям, то она постоянно влезает в разговор и с ней понятнее дело разговор ведется тоже, дети уже подростки кстати. Со мной он никуда не ездит практически, только по делам если и всё. Говорит, что любит, но звонит очень редко днем, когда на работе. Иногда даже предъявляет мне, что домой идти не хочет.
Когда я ему сказал, что пойду на свидание с другим мужиком, он мне вообще целый день не звонил. Вечером я сама ему позвонила, а он только спросил ну как свидание. Я опешила от таких слов, говорю ему "неужели тебе пофиг на меня", утверждает, что нет. Живем в моей квартире, я люблю его безумно и он вроде тоже, тогда почему так ведет себя не понимаю. Сегодня поругались из-за этого всего, он наслушался сплетней от бывшей, что типо я обсуждаю его детей со своей матерью. Мне вообще параллельно на его детей, но он мне не верит, ей поверил. Предъявляет, что ему не доверяю, докапываюсь до мелочей и отношения до такого уровня я сама типо довела.
Недавно его бывшая переехала и теперь ему срочно понадобилось каждые выходные туда ездить, дом типо смотреть( он когда уходил дом ей с детьми свой оставил). Я смысла в этом не вижу, понимаю раз в месяц съездить, но не каждые выходные же, когда время вдвоем можно провести.