отношения на расстоянии... и его бывшая рядом... как быть?

Совсем недавно начали что-то. Познакомились еще летом, друг другом заинтересовались но у меня на тот момент был парень, хоть я и была с ним в ссоре. Итог - сразу после моего расставания с бывшим мы сошлись с этим. у меня бабочки в животе, я в восторге... если бы не несколько НО. первое - он живет в 4-5 часах езды от меня. на самом деле не так далеко. но видится чаще чем раз в неделю - не реально. а то и раз в месяц... потому что у него работа, у меня учеба... мне 22, ему 28. и он с "багажом" : год назад развелся. и ребеночку 3 годика. его жена изменяла. но он очень любит дочь, видится с ней обычно 3 раза в неделю и заботится. естественно без общения с женой в такой ситуации тоже не выходит. да и компания у них общая - пересекаются постоянно. я не знаю тонкостей их общения, с ней не знакома, но безумно ревную. не к ребенку а именно к жене. она там рядом гораздо чаще чем я... и знаю много случаев что мужчина возвращался в семью только из за ребенка... и страшно... понимаю что он не переедет ко мне в ближайшее время потому что дочь не оставит так далеко, да я и не позволю ему ее оставить, а сам он в малюсеньком городе, мне продолжить обучение там нет возможности за неимением там университета... хотя он и говорит что у него ко мне серьезные намерения и тд я боюсь, что стоит его жене махнуть хвостом и он сделает все - ради дочери.... как быть?... чувствую себя маленькой наивной девочкой...