Весь вопрос в том, что вы считаете отдыхом. Если ходить по улицам, разинув хлебало, поесть, показав пальцем на блюдо, может, потанцевать где-то, то никакого языка не надо. Или лежать на пляже днями....
А если посещать музеи, места какие-то, ездить по стране, то плохо без языка....