设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

当轻薄本遇上 AIGC,英特尔:是时候展现真正的生产力了

2023/11/24 9:28:53 来源:IT之家 作者:汐元 责编:汐元

ChatGPT 的火热出圈,让 AIGC 成为目前人工智能领域最重要的发展方向,同时也在深刻影响我们使用智能终端的体验。

比如在智能手机上,AI 技术很早就被应用在影像、语音助手、游戏等方面,而随着生成式 AI 火热,手机芯片厂商们也在积极将 AIGC 解决方案嵌入到移动芯片平台中,并且在手机上玩 AIGC,也正成为很多手机品牌在新产品上主打的卖点。

不过,当我们谈到 AIGC 的变革意义,其实主要还是集中在以大模型为核心的“变革内容生产方式”与“变革人机交互方式”两个方面,一言以蔽之,就是 AIGC 对于我们生产力的解放。

图片 2

而说到生产力,其实至少现阶段,对于大部分用户来说核心的生产力工具还是 PC,而手机、平板等移动终端的生产力还相当有限。因此,在 PC 上部署 AIGC,其实才是更有优势、也更有意义的事。

图片 1

至于 AIGC 在 PC 上的落地和应用,这里就不得不提到一个重要的推动者:英特尔。

早在 2018 年,英特尔就曾判断 PC 会是未来 AI 的主战场,并推出了“AI on PC Developer Program”的 AI PC 开发者计划。在此之后,英特尔持续将 AI 能力融入到旗下酷睿处理器产品中,包括在架构层面提升 AI 的性能,SoC 中内置 Intel GNA 以加速低功耗 AI 在 PC 上的应用等等。

而面向 AIGC 的浪潮,英特尔也在软硬件层面都做好了准备。硬件层面,以第 12 代、第 13 代英特尔酷睿处理器和英特尔锐炫 A 系列显卡为代表的英特尔多款客户端芯片均能提供强劲性能,以满足生成式 AI 对于高算力的需求。

图片 3

在软件层面,英特尔则通过软件生态的构建和模型优化,进一步推动新兴的生成式 AI 场景在个人电脑的落地,广泛覆盖轻薄本、全能本、游戏本等。目前,英特尔正与 PC 产业众多合作伙伴通力合作,致力于让广大用户在日常生活和工作中,通过 AI 的辅助来提高效率,进而带来给革新性的 PC 体验。

英特尔通过模型优化,降低了模型对硬件资源的需求,进而提升了模型的推理速度,让社区开源模型能够很好地运行在个人电脑上。

以大语言模型为例,英特尔通过第 13 代英特尔酷睿处理器 XPU 的加速、low-bit 量化以及其它软件层面的优化,让最高达 160 亿参数的大语言模型,通过 BigDL-LLM 框架运行在 16GB 及以上内存容量的个人电脑上。

图片 4

目前,包括 LLAMA / LLAMA2、ChatGLM / ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen 等在内的模型都可以运行,同时英特尔还提供了易用的 API 接口(Transformers、LangChain),并支持 Windows、Linux 的操作系统。

说到这,IT之家不妨做一下实测。小编选择了一台通过英特尔 Evo 平台认证的轻薄本:华硕破晓 Air,这款轻薄本搭载英特尔 13 代酷睿 i7-1355U 处理器,16GB LPDDR5 内存。

图片 5

接着,小编在华硕破晓 Air 上装好英特尔推出的大语言模型 Demo。这个 Demo 集成了三个大语言模型,包括 ChatGLM2、LLaMA2 和 StarCoder。

这三个模型均通过英特尔的语料库进行了优化,主要的优化方式是对这些大语言模型进行量化操作,以减轻他们对本地硬件资源的需求。

测试时,小编首先在聊天助手功能下问它“朋友向我借了 1000 元,一直没有归还,我该如何索要的同时不伤感情?”这款大模型的回答有条有理,列出了四种方法,而且回答这么长的一段话响应速度也很快,first latency 只用了 1208.51ms。

图片 6

接着小编切换到情感分析功能,让大模型 Demo 分析一段散文文案所表达的思想感情,在华硕破晓 Air 上离线运行的大模型很快就给出了答案,而且对文案内容的分析还是比较到位的,并没有停留在文字的表面意思,而是理解到文字背后隐喻的情感。学生朋友们可以用这个能力来辅助语文阅读理解的学习。

图片 7

接着小编使用翻译功能做了测试,英特尔大语言模型的表现同样能够让人满意,整个语段翻译得很通顺,而且响应速度也很快。大家平时查阅一些外文资料、文献,就可以直接在电脑上用 AI 大模型进行翻译,省去了在网上找各种翻译应用的过程。

图片 8

接下来再测试一下英特尔大语言模型的文案创作能力。小编切换到“故事创作”功能,但不是让他创作故事,而是让它写一则招聘文案。从结果上看,大模型 Demo 把小编提出的要求都考虑到了,而且文案整体也比较流畅,属于拿过来稍微改改就能用的水平。这样,如果你是文案工作者,这个能力相信会对你非常实用,大大加快你的文案创作效率。

图片 9

在英特尔大语言模型写文案的时候,小编看了一下华硕破晓 Air 性能资源的调度情况,英特尔 13 代酷睿 i7-1355U 处理器占用率达到了 100%,内存占用达到了 9.0GB(58%),Xe 核显占用也达到了 33%。看来这个运算过程确实是在本地进行的。在英特尔不断的优化和 13 代酷睿处理器算力的提升下,确实能够在轻薄本上实现 AIGC 的落地。

图片 10

接着再考验一下它的信息提取能力,小编在IT之家复制了一篇新闻,让它提取其中的核心信息。由于问题信息量比较大,这次英特尔大语言模型 Demo 生成的时间比其他问题稍长了一些,但也可以接受,关键是它提炼的摘要确实是符合新闻本来要传达的信息。

图片 11

图片 12

最后,小编在“美食指南”功能里让大模型 Demo 推荐一下去西安游玩值得尝试的美食,对于这个问题,大模型 Demo 很迅速地给出了一份攻略,除了中间地“羊肉泡馍”推荐了两遍,其他的结果都没什么问题,确实是西安的特色美食。

图片 13

总体来说,使用华硕破晓 Air 这款英特尔 Evo 轻薄本在本地运行、使用大语言模型 Demo,实际给到的体验的确让人惊艳。在此之前,小编确实没有想到一款轻薄本也能如此流畅、顺利地运行有超高算力需求的 AI 大模型,这进一步打开了小编对轻薄本性能以及 AIGC 应用场景的认知。

当 AIGC 能够在轻薄本这样的移动计算终端侧顺利运行,意味着我们就可以摆脱网络、时间和空间的限制,随时随地通过 AIGC 来加速我们的内容创作力和生产力。文字工作者可以用它来辅助编写文案、文笔润色,上班族们可以用它辅助解决工作中遇到的实际问题,学生、研究人员可以用它轻松查阅资料、整理信息、翻译文献等等,它让 PC 的生产力属性得以重新定义,这也是在手机、平板等终端设备上运行 AIGC 所无法获得的高效体验。

图片 14

最后值得一提的是,在英特尔下一代酷睿处理器 Meteor Lake 中,CPU 和 GPU 的性能都会得到大幅度的提升,更关键在于英特尔还在 Meteor Lake 中加入了集成式 NPU 单元,实现更高效能的 AI 计算,它包含了 2 个神经计算引擎,能够更好地支持包括生成式 AI、计算机视觉、图像增强和协作 AI 方面的内容。而且,Meteor Lake 中的 NPU 不是单一孤岛式的架构,除了 NPU,CPU 和 GPU 也都可以进行 AI 运算,不同场景下会用不同的 AI 单元去应对,彼此协调,如此一来,其整体能耗比相比前代最多可以提升 8 倍之多。

WW

总之,未来搭载 Meteor Lake 处理器的轻薄本在本地 AIGC 创作方面的表现会更加令人期待。相信随着英特尔后续产品的进一步扩展,规模和数量的大幅增长将让数亿人轻松享受 AI 加速体验,并实现更优的智能协作、更快的处理速度和更强的功能特性,一场前所未有的生产力变革正在加快到来。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用