设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

用酷睿轻薄本运行本地大语言模型,英特尔 AIGC PC 体验有惊喜

2023/11/14 13:52:49 来源:IT之家 作者:汐元 责编:汐元

过去我们常听说“AI 改变世界”,但从普通用户的角度来说,感知似乎并不明显,因为 AI 更多是被用在专业领域。

直到最近,生成式 AI 大模型浪潮席卷全球,AIGC 产品喷薄而出,“AI 改变世界”这句话,才仿佛第一次带来了真实、可感知的震撼。它让我们普通人也能通过简单直观的“输入-输出”,就可以用 AI 解疑答惑、甚至是快速生产创作。AI 时代,真的在轰鸣而至了。

不过,我们平时使用各种 AIGC 大模型产品,都需要联网,换句话说,它是部署在云侧的,尽管这样在性能、模型、算法等方面不用担心,但问题也很明显,一方面是服务商需要投入大量的成本,另一方面用户在使用时也存在延迟、隐私等方面的不足。

而且,说到 AIGC 变革生产力,但现阶段我们的核心生产力平台还是在 PC 而非手机等终端,因此,终端侧的生成式 AI,特别是 AI PC,正在受到整个行业越来越多的关注。而这其中,作为芯片巨头的英特尔就一直是终端侧 AI PC 的前沿探索者。

IMG_9756

早在 2018 年,英特尔就提出要在 PC 上引入 AI,还推出了“AI on PC Developer Program”的 AI PC 开发者计划。而当生成式 AI 基本本确定为 AI 2.0 时代后,为了让 AIGC 能够更好地在 PC 本地端运行,英特尔也做了很多努力。

比如,在我们传统的认知里,运行类似 ChatGPT 这种大语言模型必须要有大显存的显卡支持。但这种情况已经被英特尔改变。英特尔为了让 12、13 代酷睿平台也能够顺利运行各种大语言模型并提供流畅的使用体验,构建了 BigDL-LLM 库,这个库专门针对 Intel 硬件的低比特量化设计,支持 INT3、INT4、INT5、INT8 等各种低比特数据精度,性能更好,内存占用也更少。

20231112163948

通过这个库,英特尔对各种大语言模型进行了优化和支持,包括一些开源的、可以在本地运行的大语言模型。这个库甚至可以在一台搭载 16GB 内存的英特尔轻薄本的机器上运行参数量高达 160 亿的大语言模型。此外还支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多个大语言模型。

英特尔也表示,目前的优化主要是针对 CPU,接下来他们还会更加注重对 GPU 核显性能的优化,让 GPU 也能在终端侧 AIGC 任务中扮演更重要的角色。比如英特尔下一代酷睿处理器 Meteor Lake 中,除了 CPU 架构有重大升级,GPU 核显性能也会得到强势提升,将拥有 8 个 Xe GPU 核心 128 个渲染引擎,更增加了 8 个硬件的光追单元,还会引入 Arc 显卡的异步拷贝,乱序采样等功能,也对 DX12U 做了优化。

641

不仅如此,英特尔还在 Meteor Lake 中加入了集成式 NPU 单元,实现更高效能的 AI 计算,它包含了 2 个神经计算引擎,能够更好地支持包括生成式 AI、计算机视觉、图像增强和协作 AI 方面的内容。

而且,Meteor Lake 中的 NPU 不是单一孤岛式的架构,除了 NPU,CPU 和 GPU 也都可以进行 AI 运算,不同场景下会用不同的 AI 单元去应对,彼此协调,如此一来,其整体能耗比相比前代最多可以提升 8 倍之多。

WW

说了这么多,实际体验到底怎么样?今天IT之家也为大家做一番测试。这里我们选择了一台通过英特尔 Evo 平台认证的轻薄本:华硕破晓 Air,这款轻薄本搭载英特尔 13 代酷睿 i7-1355U 处理器,16GB LPDDR5 内存。

aa

测试时,我们关闭笔记本的网络,使用英特尔推出的大语言模型 Demo,来看看轻薄本在本地运行 AIGC 体验到底怎么样。

屏幕截图 2023-11-11 165453

英特尔大语言模型的 Demo 安装过程很简单,安装完成后打开界面我们可以看到左侧可以选择聊天内容、调整模型参数和查看运算延迟,右侧则是聊天框。

测试时,小编首先在聊天助手功能下问它“酒桌上领导让我陪客户喝酒,但我不能喝,应该如何婉言拒绝?”这款大模型的回答很是出色,而且回答这么长的一段话响应速度也很快,只用了 786.57ms 就完成了响应。

屏幕截图 2023-11-11 165052

接着小编调到情感分析功能,让大语言模型分析一段散文所表达的思想情感,在华硕破晓 Air 上离线运行,很快就给出了答案。大模型对这段散文文案的思想情感理解还是比较准确的,而且逻辑自洽。

屏幕截图 2023-11-12 130430

在运算过程中我们可以看到,英特尔 13 代酷睿 i7-1355U 处理器占用率达到了 100%,内存占用达到了 9.1GB(58%),Xe 核显占用也达到了 35%。看来这个运算过程确实是在本地进行的。看来在英特尔不断的优化和 13 代酷睿处理器算力的提升下,确实能够在轻薄本上实现 AIGC 的落地。

20231112164920

然后小编又使用中文翻译功能做了测试,英特尔大语言模型的表现同样让人惊喜,它的翻译质量相当高,速度也很快,整个文段基本上没有什么翻译错误的情况。

屏幕截图 2023-11-12 152419

接下来再测试一下英特尔大语言模型的故事创作能力,小编让他写一个关于孙悟空和葫芦娃联手大战外星人的故事,AI 同样是很快就写了出来,延迟只用了 850.37ms,而故事整体有开始有过程也有结尾,时间地点人物事件都很齐全,大体上没什么问题。

屏幕截图 2023-11-12 153122

生成大纲方面,小编让这个大语言模型帮我生成一片关于朱自清《荷塘月色》的教学大纲,它同样很快就列出了一套逻辑清晰完整,内容详尽的大纲出来。这确实是一个非常实用的功能,尤其是当它能够在终端侧离线运行后,对于工作有提炼大纲需求的人,比如说老师,即便在没有网络的情况下,也能利用 AI 辅助教学工作,非常方便。

屏幕截图 2023-11-12 153833

最后,小编让 AI 给出一份去杭州旅游的攻略指南。大模型的生成结果同样能够让人满意,把杭州最主要值得去的景点都列了出来,跟着这份指南去游玩不会有什么问题。

屏幕截图 2023-11-12 153856

总体来看,IT之家使用华硕破晓 Air 这款英特尔 Evo 轻薄本进行大语言模型的本地化测试,从体验上来说还是比较令人满意的,别看他只是一款轻薄本,运行有着 160 亿参数的大模型并不吃力,在响应速度和答案的靠谱性方面,和小编平时使用那些云端大模型产品几乎没太大差别,有些时候响应速度甚至更快,因为云端大模型在高峰期网络拥堵的时候,还会出现响应缓慢甚至生成失败需要重新生成的情况,但在使用华硕破晓 Air 运行英特尔本地大模型时,就不会出现这种情况。

22

可以说,凭借 13 代酷睿强劲的算力和不断的算法优化,英特尔是成功地把 AIGC 大规模地引入到了 PC 上,并且能够在终端侧离线运行,让 PC 用户们随时随地都能获得来自 AIGC 的创作主力,而不受网络、峰谷时期的限制,充分证实了他们在 AIGC 领域的领先地位和不断创新的能力。他们致力于为用户提供更智能、高效的计算体验,推动人工智能技术的发展和应用。相信随着技术的不断进步和完善,我们可以期待在未来看到更多更强来自英特尔在终端侧的 AIGC 应用和解决方案。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用