Раздельный семейный бюджет

Как жить с мужем, если у нас раздельный бюджет? Я работаю на 1,5 ставки, получаю алименты от бывшего мужа на дочь. В общем мой с ребенком доход около 35-40 тыс. Нынешний муж зарабатывает 20 тыс. Сразу отдает мне 4000, которые потом вытягивает на себя (в последний раз ходили в кафе, где он много заказал себе, купили ему обувь, посетили спорт зал, купили продукты, которые ест только он) в итоге все эти 4 тыс. он вернул себе, а я по факту тратила свои. И так каждый месяц. Если я отказываюсь оплачивать его 4 тысячами, начинает обижаться, говорит, что он же эти деньги дал. Потом весь месяц я трачу на себя свои деньги, а он на себя свои. Сразу начинает часто ездить к своим родителям (без меня), потом говорит, что деньги все уходят на бензин. Когда я закупаю продукты на свои деньги, он выпрашивает что-то себе. Сейчас я научилась ничего ему не брать. В выходные я хочу отдыхать, но он опять не тратит ни копейки на развлечения даже на себя. Копить он не копит. Очень трудно жить с человеком, когда разные бюджеты. Не получается планировать покупки или досуг совместно. Думаю просто перестать ему готовить, и вообще жить как сожители. Как-то вообще можно изменить нашу ситуацию?