Ну эт смотря какие намерения у вас и какие мысли. Может кофе сам по себе и не измена, но ваши намерения запросто могут к ней привести.
Я вот на кофе с многими коллегами и друзьями хожу, но у меня никаких других мыслей, кроме кофе и простой болтовни, в те моменты не бывает, поэтому и в голову бы не пришло прийти на форум и начать задавать такие вопросы. У вас же мысли, явно, не только о кофе. Поэтому измена это или нет - это вам решать.