С одной стороны брать телефон без спроса некрасиво с Вашей стороны, но с другой, его реакция очень красноречива... В общем дело не только в этой ситуации. Возможно есть еще какие-то сигналы, что в отношениях что-то не так. А для чего Вы взяли его телефон? Чтобы проверить что он делает на своей другой странице или что? Какую реакцию Вы ожидали?