Беспочвенная ревность. Как быть?

Сьедаю себя из нутри мыслями что у моего парня есть чувства.Повода впринцыпе нету чтобы прямо такого.Но мы начали встречаться и через некоторое время он поведал историю о бывшей с которой они встречались тайком где то год примерно.Почему тайком ,есть причины.Она была замужем и хотела приключений.И вот заметила с ним,а он друг её кумы.Он так смачно рассказывал эту историю,хотя прошло уже года четыре как они закончили интрижку.Но он говорит что иногда списываются.И меня одолела ревность.Мне кажется он до сих пор любит её или что то в этом роде.Я понимаю что у каждого из нас было прошлое,я была замужем он был женат и все такое и были романы.Но стоит ли строить с ним отношения?Буду всегда думать лишь о том нету ли у него тяги к прошлому.Как вы боролись с такими мыслями?