设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

英伟达预告新版 TensorRT-LLM:推理能力飙升 5 倍、8GB 以上显卡可本地运行,支持 OpenAI 的 Chat API

2023/11/16 10:15:40 来源:IT之家 作者:故渊 责编:故渊

IT之家 11 月 16 日消息,微软 Ignite 2023 大会已于今天拉开帷幕,英伟达高管出席本次大会并宣布更新 TensorRT-LLM,添加了对 OpenAI Chat API 的支持

IT之家今年 10 月报道,英伟达面向数据中心和 Windows PC,推出 Tensor RT-LLM 开源库。最大的特点是,如果 Windows PC 配备英伟达 GeForce RTX GPU,TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。

英伟达在今天 Ignite 2023 大会上,宣布更新 TensorRT-LLM,添加 OpenAI 的 Chat API 支持,并增强 DirectML 功能,改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。

TensorRT-LLM 可以通过英伟达的 AI Workbench 在本地完成,开发者可以使用这个统一、易用的工具包,在 PC 或工作站上快速创建、测试和定制预训练的生成式 AI 模型和 LLM。英伟达还为此推出了抢先体验注册页面。

英伟达将于本月晚些时候发布 TensorRT-LLM 0.6.0 版本更新,推理性能提高 5 倍,并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。

用户可以在 8GB 显存以上的  GeForce RTX 30 系列和 40 系列 GPU 上运行,一些便携式 Windows 设备也能使用快速、准确的本地 LLM 功能。

相关阅读:

英伟达推出 Tensor RT-LLM,使大语言模型在搭载 RTX 的 PC 平台上运行速度提高 4 倍

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:英伟达OpenAI

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用