Он, я и его дочка

Встречаюсь с мужчиной около года. Он добрый нежный, внимательный и т.д. Единственный минус – наличие дочери от первого брака. Девочке 12 лет. Каждый выходные во время учебы она приезжает к нему. Летом приезжает намного чаще и на несколько дней. Мы с мужчиной пробуем потихоньку жить вместе. Я иногда ночью несколько дней подряд у него. Но как только приезжает его дочка, я уезжаю жить к родителем. Мужчина живет с отцом в трехкомнатной квартире. Одна комната – его, вторая – отца, а зал – проходной и общий. Когда приезжает дочка, она ночует с мужчиной в однйо комнате. Он предлагает начать жить вместе с ним и ночевать с ним и его дочкой в этой комнате. Я сказала, что мне будет некомфортно, и вскоре дочке тоже станет некомфортно. Предложила вариант снимать квартиру. Он против. Сам предложил такой вариант, чтобы дочка ночевала в зале. Но потом сам же от него и отказался. Он вообще не может ничего сказать против дочке. И как следствие, по прежнему предлагает жить с ней в одной комнате. И это еще не все. Вчера как всегда приехала дочка, я была вынуждена уехать домой. Мужчина вечером позвонил и сказал, что скучает. Я предложила встретиться в городе и прогуляться. Он согласился. Но когда уже провожал меня домой сказал: я все-таки плохой отец, вместо того, чтобы быть сейчас с дочей, я гуляю с тобой… Я обиделась. Сказала, что если ему хотелось быть с дочкой, надо было быть с дочкой и не мучить себя прогулками со мной. Вопрос: расставаться?