Расставаться или нет?

Живем с парнем вместе уже 4 года, ключей от его квартиры у меня нет (но это никогда не было проблемой, тк с работы вместе всегда приходили, или он заранее мне оставлял свои ключи).

В очередной день, я должна была доехать до его работы, чтобы потом вместе поехать домой (я работаю до 19:00, он до 20:00). Еду, понимаю, что не успеваю приехать к 20:00, решила выйти на остановке и самостоятельно доехать до дома, чтобы никого не задерживать (он ездит вместе со своим коллегой). И тут он пишет, что они сначала заедут в другое место, потом только домой и что я сама виновата, что опоздала. Хотя про поездку в другое место я узнала перед фактом, да и он скорее тоже.
И вот я стою, и не понимаю, что делать. Зло во мне кипело, звоню ему и говорю, что сегодня собираю вещи и уезжаю домой к себе.
Пока шла пешком (люблю долгие прогулки, мне это дискомфорта не приносит, живу в маленьком городе) до дома долго думала, а что дальше то? Появился сильный страх, что в любой момент могу остаться одна ночью на улице.

По итогу собрала вещи и уехала домой. Вот сижу и думаю, правильно ли я сделала или нет. Кажется, что это не повод для расставания.