На самом деле слишком большая разница.
Если вам 20, а ему 40, то между вами несколько культурных пластов и вы рано или поздно упретесь в них. Если вам 40, а ему 60, то быстро упретесь в его здоровье. В общем, такие отношения только если не на долго ради эксперимента и интересного опыта.