Не думаю, что связь с курением на это так сильно влияет. Моему отцу 65, он курил с 18 до 63 (45 лет получается), потом после инфаркта бросил, но несмотря на это до сих пор, когда надо наладить ему компьютер, в истории его браузера я натыкаюсь на порно.
Организм сложная штука, множество систем и взаимосвязей. А ведь ещё есть и психика, которая тоже сильно влияет на этот процесс. Так что грешить только на курение не стОит, если даже и не стоИт. Если его это беспокоит так же, как и вас, то достаточно посетить пару-тройку врачей, начиная с терапевта, и сдать с десяток анализов. Если всё в норме, то идти к психиатру и психологу.
Но сразу предупрежу, возможно и вам придётся походить к психологу или косметологу, чему-то научиться, что-то поменять...