Как построить новые отношения, если есть ребенок от первого брака?

Не буду вдаваться в подробности развода, но так вышло, что мы живем с ребенком вдвоем. Отец не появлялся полгода, никак не помогал. После суда за алименты он подал иск на встречи с ребёнком, не приходил на заседания. Еще полгода судов. И вот спустя 2 года, когда у меня появились отношения, он появился и приходит исправно каждое воскресенье, платит алименты по минималке и вроде никто никому не мешает, хотя у нас еще много вопросов по жилью, так как совместную квартиру занимает он, деньги не отдаёт.
Новый мужчина помогает во всех делах, старается с ребёнком отношения наладить. К нему нет претензий, но есть много но! Наши отношения никак не развиваются, нет и речи о совместном проживании (говорит, я не готов), не знакомы с его друзьями, родственниками. Наше общение все строится на совместном времяпрепровождении: гуляем втроем, к тому же мы работаем вместе - мы уже почти все время вместе, только не ночуем. И это начинает напрягать: вроде семья, а вроде каждый сам по себе. Не понимаю, что значит его отношение, у меня в принципе мало опыта общения с мужчинами, а тут ещё строить отношения втроём, это сложно. Как это правильно сделать, я не знаю. Пробовали уже не общаться, все равно понимаем, что нужны друг другу.
В общем, прошу без осуждения, особенно спросить тех, кто построил нормальную семью после развода. Одно дело, когда отца нет, другое - когда он есть постоянно в нашей жизни, я не против общения ребенка с ним, но и как выстроить правильно все, я не знаю.