设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

可并行运行 128 个 LLaMA 2 7B 流,开发者测试苹果 M2 Ultra 芯片模型推理表现

2023/10/13 16:57:39 来源:IT之家 作者:漾仔(实习) 责编:漾仔

IT之家 10 月 13 日消息,据 Y Combinator 论坛消息,名为 Georgi Gerganov 开发者日前使用苹果 M2 Ultra 芯片,进行了一系列 LLaMA 模型推理测试,测试显示该芯片在并行运行 128 个 Llama 2 7B 流时,效果较佳

▲ 图源 Georgi Gerganov 在 GitHub 披露的测试表现

据悉,LLaMA 模型推理测试强调内存带宽,而非计算能力,而苹果的 M2 Ultra 芯片号称“内存带宽达 800GB/s”,因此推理时效果良好

▲ 图源 Georgi Gerganov 在 GitHub 披露的测试表现

不过虽然 M2 Ultra 芯片的内存带宽具有优势,但用户最多只能获得 192 GB RAM,用户花费 5600 美元(IT之家注:国行 44999 人民币)购买搭载 M2 Ultra 芯片及 192GB 运行内存的 Mac Studio,价格足够买一台“拥有 1TB RAM、搭载 RTX 4090 的 PC”

▲ 图源 Y Combinator

▲ 图源 苹果官网

Georgi Gerganov 据此认为,如果用户的工作负载(如推理)不需要超过 192 GB,那么选择相关机器时可以更重视“内存带宽”表现,但如果用户有其他工作需求,则可以看看相对应价格的 PC。

参考

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:M2 Ultra苹果内存带宽

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用