Кто из нас двоих обнаглел?

Встречаюсь с мужчиной уже три года. Каждый год повторяется ситуация: с приближением зимы заказов у него становится меньше (он строитель-отделочник), и он перебирается пожить ко мне, типа с перспективой, что навсегда. С наступлением тепла начинает злиться, придираться и ссориться, и по факту съезжает снова к себе. В первый год помог хорошо с ремонтом, но я примерно год давала ему деньги, чтобы платил алименты своим детям. То, что делал во второй и третий год - крупное я оплачивала по рынку, мелочь - не оплачивала, но кормила, покупала сигареты и так по мелочи.
На это год сказала, что пусть не рассчитывает перекатываться у меня зиму. Поссорились, потом пришел мириться, и типа хочет жить одной семьёй. Я сразу сказала, что нет, тем более, он захотел ещё и общий бюджет, и начал заявлять, что я должна его слушаться.
Общий бюджет осложняется ещё и тем, что я зарабатываю больше, а у него есть очень ненасытная бывшая жена, которой он отдает на двоих детей половину доходов, плюс финансирует всякие хотелки своих детей и то, что бывшая не умеет планировать бюджет и вечно остаётся без денег. При совместном бюджете эти именины сердца будут явно за мой счёт, что я ему и объяснила.
Я в идеале вижу наши отношения - я время от времени хожу к нему, он время от времени помогает с небольшим ремонтом. И на этом всё.
А он сейчас ходит, требует, треплет нервы и устраивает скандалы. Сегодня, в буквальном смысле, вытолкала его за дверь.
Итак, кто из нас без меры обнаглел? Он или я?