Что мне делать с этими отношениями?

В январе этого года познакомилась в Москве с мужчиной. Ему 39, мне 24 года. Встретились, закрутился страстный роман, а уже через две недели он мне предложил жить вместе. Оговорюсь: при встрече он мне сказал, что дважды разведен и у него трое детей. В первое время настораживало частые звонки его второй жены, но он это объяснял заботой о ребенке. И в апреле я заболела, лежала с температурой, и так получилось, что случайно узнала, что у него родился уже 4 ребенок. И это когда мы съехались. Была ссора о том, почему он умолчал сей факт и как так случилось, что он уехал от беременной жены в Москву (из Питера). Я узнала, что после размолвки, они попытались еще раз сойтись, но не вышло ничего, а вот ребенка зачали. 1,5 месяца назад он получил работу в своем родном городе (СПб), а затем приехал за мной и увез к себе. Теперь снимаем с ним комнату. За время нашего с ним бытия несколько раз порывались расстаться, но в итоге все заканчивалось признаниями в любви и что мы не можем друг без друга. Мы и правда имеем кучу общих интересов и делаем совместные проекты. Я знала, что когда он ездил в Питер раньше, то ночевал у бывшей жены. Говорил, что ради детей (оговорюсь, он всех 4 любит безумно и как может, принимает участие в их жизни). Но и теперь эти ночевки не закончились, раз в неделю он уезжает в ту семью. Я не нахожу места и очень ревную. Я не понимаю, зачем оставаться там ночевать? У моего папы с мамой тоже третий брак, но он никогда себе не позволял, как сошелся с мамой оставаться ночевать в прошлых семьях. Может я дура и ничего не понимаю. А тут он еще сказал, что бывшая намекает на то, что бы сойтись, но он говорит что ей нужны только от него деньги и не малые. Он говорит, что очень любит меня и первый раз за все это время встретил родную душу. Говорю-уходи в ту семью, будь с детьми тогда, я одна проживу. Он упирается и говорит, что хочет быть только со мной. Я уже запуталась и не знаю, что мне делать?