NVIDIA A100 80GB – самый мощный GPU для супервычислений в области ИИ
Компания NVIDIA представила графический процессор NVIDIA A100 80GB для супервычислительной платформы NVIDIA HGX AI, с вдвое большей памятью, чем у предшественника, и призванный, по замыслу разработчиков, обеспечить исследователей и инженеров беспрецедентной скоростью работы и производительности в их исследованиях в области искусственного интеллекта и науки.
Новый процессор A100 с технологией HBM2e обладает удвоенным объемом высокоскоростной памяти до 80 ГБ по сравнению с A100 40GB и обеспечивает полосу пропускания более 2 терабайт в секунду. Это позволяет быстро передавать данные на GPU A100 и еще больше ускорять приложения и использовать еще более крупные модели и наборы данных.
80ГБ модель A100 предназначена для широкого спектра приложений с высокими требованиями к памяти:
A100 80GB обеспечивает ускорение до 3-х раз при обучении ИИ в моделях рекомендательных систем, таких, как DLRM с таблицами, представляющие миллиарды пользователей и миллиарды продуктов.
Позволяет обучать самые большие модели с большим количеством параметров, подходящих для одного сервера на базе HGX, такого как GPT-2, устраняя необходимость в параллельных архитектурах данных или моделей, которые могут занимать много времени при создании и медленно работать на множестве узлов.
Благодаря технологии MIG (multi-instance GPU) процессор A100 можно разделить на инстансы, до семи, каждый с 10 ГБ памяти. Это обеспечивает безопасную аппаратную изоляцию и максимально увеличивает использование GPU для множества небольших рабочих задач.
Для инференса моделей автоматического распознавания речи, таких как RNN-T, один инстанс MIG A100 80GB может работать с пакетами гораздо большего размера, обеспечивая в 1,25 раза более высокую скорость инференса в работе.
В тесте аналитики больших данных для розничной торговли в терабайтном диапазоне A100 80GB повышает производительность до 2 раз.
Обеспечивает огромное ускорение в научных приложениях, таких, как прогнозирование погоды и квантовая химия.
Ключевые характеристики A100 80GB:
Тензорные ядра третьего поколения: до 20 раз выше скорость в ИИ по сравнению с предыдущим поколением Volta с новым форматом TF32, а также в 2.5 раза выше в вычислениях FP64 для HPC, в 20 раз выше в вычислениях INT8 для инференса и поддержка формата BF16.
Больше и быстрее память HBM2e: удвоение пропускной способности памяти и впервые в индустрии полоса пропускания свыше 2 ТБ/с.
Технология MIG: удвоение памяти на изолированный инстанс, до семи MIG-систем с 10ГБ памяти каждая.
Структурная разреженность: ускорение до 2 раз в инференсе разреженных моделей.
NVLink и NVSwitch третьего поколения: удвоение полосы пропускания между GPU по сравнению с предыдущей технологией связи ускоряет передачу данных на GPU для ресурсоемких задач до 600 ГБ/с.
Новый процессор A100 с технологией HBM2e обладает удвоенным объемом высокоскоростной памяти до 80 ГБ по сравнению с A100 40GB и обеспечивает полосу пропускания более 2 терабайт в секунду. Это позволяет быстро передавать данные на GPU A100 и еще больше ускорять приложения и использовать еще более крупные модели и наборы данных.
80ГБ модель A100 предназначена для широкого спектра приложений с высокими требованиями к памяти:
A100 80GB обеспечивает ускорение до 3-х раз при обучении ИИ в моделях рекомендательных систем, таких, как DLRM с таблицами, представляющие миллиарды пользователей и миллиарды продуктов.
Позволяет обучать самые большие модели с большим количеством параметров, подходящих для одного сервера на базе HGX, такого как GPT-2, устраняя необходимость в параллельных архитектурах данных или моделей, которые могут занимать много времени при создании и медленно работать на множестве узлов.
Благодаря технологии MIG (multi-instance GPU) процессор A100 можно разделить на инстансы, до семи, каждый с 10 ГБ памяти. Это обеспечивает безопасную аппаратную изоляцию и максимально увеличивает использование GPU для множества небольших рабочих задач.
Для инференса моделей автоматического распознавания речи, таких как RNN-T, один инстанс MIG A100 80GB может работать с пакетами гораздо большего размера, обеспечивая в 1,25 раза более высокую скорость инференса в работе.
В тесте аналитики больших данных для розничной торговли в терабайтном диапазоне A100 80GB повышает производительность до 2 раз.
Обеспечивает огромное ускорение в научных приложениях, таких, как прогнозирование погоды и квантовая химия.
Ключевые характеристики A100 80GB:
Тензорные ядра третьего поколения: до 20 раз выше скорость в ИИ по сравнению с предыдущим поколением Volta с новым форматом TF32, а также в 2.5 раза выше в вычислениях FP64 для HPC, в 20 раз выше в вычислениях INT8 для инференса и поддержка формата BF16.
Больше и быстрее память HBM2e: удвоение пропускной способности памяти и впервые в индустрии полоса пропускания свыше 2 ТБ/с.
Технология MIG: удвоение памяти на изолированный инстанс, до семи MIG-систем с 10ГБ памяти каждая.
Структурная разреженность: ускорение до 2 раз в инференсе разреженных моделей.
NVLink и NVSwitch третьего поколения: удвоение полосы пропускания между GPU по сравнению с предыдущей технологией связи ускоряет передачу данных на GPU для ресурсоемких задач до 600 ГБ/с.
Ещё новости по теме:
18:20