Большинство таких людей с детства жили в не самом благоприятном психоэмоциональном климате, поэтому они немного "прибиты" эмоционально, может быть подсознательный запрет на проявление эмоций.
По поводу шарма - вряд ли, это, скорее, отталкивает, хотя и придает долю загадочности.