Парень не хочет со мной секса после прошлого мужчины, что делать?

Я всегда любила своего молодого человека.
11 лет назад я ушла от него и вышла замуж за другого мужчину. Казалось, что он старше на 4 года, у него была машина.
Через несколько лет развелась с мужем, он пил и избивал меня. Стала жить несколько лет с заместителем своего начальника на работе.
У него есть чужие дети, он внешне мне никогда не нравился, рассталась с ним 5 лет назад.
Вернулась к своему молодому человеку, он возмужал, много зарабатывает. Он закрыл мои долги, простил меня за всё и постоянно со мной добр и ласков. Но есть одно большое НО: иногда он вспоминает прошлое и груб со мной. Говорит, что ему не хочется со мной близости. Ему противно думать, что я была с теми мужчинами, что они некрасивые и глупые, и это меня обесценивает. Каждый год он хочет меня бросить, я удерживаю, но уже устала. Как объяснить ему, что мои прошлые мужчины никак не влияют на любовь к нему?