Муж не может простить моё прошлое

Муж мучает и себя, и меня, постоянно вспоминая моё прошлое.
Помогите, пожалуйста... Мы живем с мужем уже почти 3 года. Очень сильно любим друг друга, всегда жили душа в душу.
Но бывают ситуации (очень сильные скандалы) из-за того, что он вспоминает мое прошлое и всегда сравнивает себя с ним.
Да, я у него первая, но очень жаль, что он у меня нет.
И поэтому постоянно ссоры из-за этого. Он считает, что там было лучше, что в плане обычной жизни, что в плане и*тима, сравнивает себя с ними и думает, что он хуже всех. Хотя это не так.
Мы много раз говори об этом и вроде уже все выяснили. Я ему говорю, что я уже не помню точно, что и как там было. Ухожу от всех разговоров о прошлом, потому что мне больно и стыдно из-за того, что было в прошлом. А если я не говорю, то он начинает придумывать себе всякие глупые вещи.
Ссоры порой такие, что даже спим на разных квартирах, до слез и истерик. И так уже почти 2 года.
Я его очень люблю и не представляю жизни без него, как и он без меня. Но и так жить постоянно в страхе, что будет ссора и скандал, тоже не могу.
Может у кого было такое, дайте совет? #брак