Здравствуйте!
Если не хотите загубить отношения - нужно будет поработать над собой. С его стороны, по Вашему рассказу, негативных или тревожных звоночков не вижу - значит, дело в Вашей психике.
Вообще, я бы порекомендовала Вам обратиться к психологу. В этом нет ничего страшного, такой же вопрос как здесь, на форуме, только специалисту, который может оказать Вам квалифицированную помощь.
Поработаете над самооценкой, неуверенностью в себе, тревожностью. Думаю, здесь основная проблема в том, что Вы сравниваете себя с его бывшей женой от неуверенности в себе. Но в этом нет смысла. Это жизнь, люди сходятся и расходятся, у всех есть прошлое. Посудите сами, у них уже не сложилось, он сейчас с Вами, повода для переживаний не дает. Зачем Вам думать о том, что у него и как было до этого? Если не сложилось - значит не так было гладко и сладко. Прошлое прошло, Вам нужно работать над Вашими отношениями, а не копаться в себе и в его прошлом браке.
Поговорить Вам нужно со специалистом, хорошим. Уверена, при правильном подходе это поможет. Повысите самооценку, научитесь гармонично быть и чувствовать себя в отношениях, и вся тревожность уйдет, Вам будет хорошо и спокойно. Надеюсь, что Вы прислушаетесь к моему совету, если не хотите загубить эти отношения. Чем раньше возьметесь за проблему - тем быстрее ее искорените! Удачи Вам и всего самого хорошего!