Ну сказали и сказали, в следующий раз будете говорить иначе, с более явным акцентом на том, что вы хотите, чтобы он куда то с вами поехал.
Мужу и жене тоже нужно на себя время тратить, вот вы и потратили. Если друг - не дурак, он это так понял и дал вам время побыть вдвоем. Хороший друг, молодец, есть такие, что даже открытого текста не понимают, когда им говорят, что их не приглашали, и все равно прутся "с друганом же, плевать что его жена будет, потерпит, дружба мужская важнее всего". А этот не поперся вам в спину дышать. Хорошо же? Все нормально, взрослые люди все прекрасно понимают.
В следующий раз, чтобы его не вводить в заблуждение, просто подайте какой то явный знак, что вы реально хотите его там видеть. Например, если в поход собрались, скажите ему заранее, что вы три кружки купили, у костра чай пить, что-то типа того.