设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

老黄深夜炸场!英伟达发布全球最强 AI 芯片 H200:性能飙升 90%,Llama 2 推理速度翻倍

2023/11/13 22:38:32 来源:IT之家 作者:远洋 责编:远洋

IT之家 11 月 13 日消息,英伟达今日发布了下一代人工智能超级计算机芯片,这些芯片将在深度学习和大型语言模型(LLM)方面发挥重要作用,比如 OpenAI 的 GPT-4。新芯片相比上一代有了显著的飞跃,将被用于数据中心和超级计算机,处理诸如天气和气候预测、药物发现、量子计算等任务。

此次发布的关键产品是基于英伟达的“Hopper”架构的 HGX H200 GPU,是 H100 GPU 的继任者,也是该公司第一款使用 HBM3e 内存的芯片,这种内存速度更快,容量更大,因此更适合大型语言模型。较前任霸主 H100,H200 的性能直接提升了 60% 到 90%。英伟达称:“借助 HBM3e,英伟达 H200 以每秒 4.8 TB 的速度提供 141GB 的内存,与 A100 相比,容量几乎是其两倍,带宽增加了 2.4 倍。”

在人工智能方面,英伟达表示,HGX H200 在 Llama 2(700 亿参数 LLM)上的推理速度比 H100 快了一倍。HGX H200 将以 4 路和 8 路的配置提供,与 H100 系统中的软件和硬件兼容。它将适用于每一种类型的数据中心(本地、云、混合云和边缘),并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署,将于 2024 年第二季度推出。

英伟达此次发布的另一个关键产品是 GH200 Grace Hopper“超级芯片(superchip)”,其将 HGX H200 GPU 和基于 Arm 的英伟达 Grace CPU 通过该公司的 NVLink-C2C 互连结合起来,官方称其专为超级计算机设计,让“科学家和研究人员能够通过加速运行 TB 级数据的复杂 AI 和 HPC 应用程序,来解决世界上最具挑战性的问题”。

GH200 将被用于“全球研究中心、系统制造商和云提供商的 40 多台 AI 超级计算机”,其中包括戴尔、Eviden、惠普企业(HPE)、联想、QCT 和 Supermicro。其中值得注意的是,HPE 的 Cray EX2500 超级计算机将使用四路 GH200,可扩展到数万个 Grace Hopper 超级芯片节点。

也许最大的 Grace Hopper 超级计算机是位于德国 Jülich 工厂的 JUPITER,在 2024 年安装后将成为“世界上最强大的 AI 系统”。其使用了液冷架构,其增强模块由近 24000 个英伟达 GH200 超级芯片组成,这些芯片通过英伟达 Quantum-2 InfiniBand 网络平台互连。

英伟达表示,JUPITER 将有助于在多个领域取得科学突破,包括气候和天气预测,生成高分辨率的气候和天气模拟,并进行交互式可视化。它还将被用于药物发现、量子计算和工业工程,其中许多领域使用定制的英伟达软件解决方案,这些解决方案简化了开发,但也使超级计算团队依赖于英伟达硬件。

IT之家注意到,上个季度,英伟达仅在 AI 和数据中心领域就实现了创纪录的 103.2 亿美元的收入(总收入为 135.1 亿美元),比一年前增长了 171%,英伟达无疑希望新的 GPU 和超级芯片能够帮助其继续这一趋势。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:芯片人工智能英伟达

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用