Мой мужчина колеблется между мной и женой бывшей

Мой мужчина говорит,что любит меня,я это чувствую конечно. Но недавно он мне признался,что когда мы ссорились у него были мысли уйти к бывшей жене(хотя как к бывшей,официально они даже не разведены,вместе не живут)говорил что представлял как придет к ней проситься обратно,но его останавливало лишь то,что у его жены есть мужчина уже,и говорит если бы его не было он бы пошел проситься. Далее мы помирились и его отпустили эти мысли,но меня они не отпускают,помогите как мне быть,оставить его и пусть идет к своей жене,может дать время ему на размышление ,чтобы он понял кто ему нужен на самом деле или все пускай идет своим чередом?Как мне быть