Зависит от разницы в возрасте на самом деле. Если у мужика нет детей, или они взрослые и живут далеко от него - то ситуация неудивительная и без какого-либо подтекста, ему возможно просто одиноко и он цепляется за любое общение, тем более если вы показали ему что дружелюбно настроены. А боятся за то что подумает общество - последнее дело, если Вам нравится это общение то почему бы и нет?