Шлите его куда подальше))
Когда он деньги давал никто не обговаривал, что он дает их в долг. Или может где то есть расписка с вашей подписью, где написано, что вы отдадите деньги? Нет? Ну и все тогда)
Что он может сделать? В полицию пойти? А где доказательства, что он вообще давал вам деньги?
Ну а потом как появится возможность отдать эти деньги, то смело можете ему написать, типо " если хочешь , можешь забрать свои деньги, жмот" ну что-то типо такого)
Стыдно ему должно быть за свое поведение. А вы не переживайте