Умение проявлять ласку закладывается в семье с детства. Если взрослый человек этого сторонится или не умеет, то значит в детстве либо сам очень сильно недополучил такого внимания, либо получал его слушком много, назойливо с избытком. Дело скорее не в вас и не в ваших с ним отношениях, а в той модели отношений мужчины и женщины, которую он перенял с собственной родительской семьи. Могут быть конечно и другие причины, но они встречаются гораздо реже. Исправить это сложно, но можно. Но только точно не упреками с вашей стороны.