Убирается, только все контакты будут записаны не как они записаны в телефонной книге смартфона, а как в самой программе Telegram. Зайти в настройки/конфиденциальность. Там убрать синхронизацию и удалить импортированные контакты. Еще раз повторюсь, имена поменяются. Кому-то это может не понравиться.