Хотели купить, но передумали

Всем привет. Такая ситуевина. Мы с мужем хотели купить машину у моего брата, договорились что через два месяца будут деньги, мы её купим. Прошёл месяц, возникли некие обстоятельства у нас с мужем. И я сообщила брату что мы передумали. ( за месяц до обговоренной даты) на что услышала в ответ, что мы думаем только о себе, а не о нем. Из за нас он влез в кредит и долги и рассчитывал что отдаст с денег при продажи машины. А теперь что ему делать и т.д. Залог мы не оставляли, машина была у него, расписки не было. Требует вернуть деньги за машину, которых мы не брали. Говорит мы его сильно подвели. Ситуация не приятная, чувствую себя виноватой, но если мы отдадим ему денег, тогда мы не решим свою проблему. Как быть в такой ситуации, кто прав? Я запуталась, совесть грызёт.