Во-первых лучше, поговорить с ним лично об этом.
Во-вторых дело может быть не в темпераменте, как многие пишут. (Он может не изменять, но глазеть и хотеть каждую проходящую мимо, или иметь в голове самые развратные желания, а с вами при этом быть спокойным)
В-третьих, что скорее всего, он может показывать таким поведением свою независимость от вас и от секса. (Это из разрядов "Комплексы")
В-четвёртых, он может боятся не оправдать ваших ожиданий (снова "Комплексы")
Совет: - Поговорите с ним, только так, что бы он понял, что вам не хватает не просто секса, а именно близости с ним.