设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

AI 钞能力:阿联酋打造的 Falcon-40B 语言模型 OpenLLM 排名第一、持续霸榜

2023/6/13 10:31:59 来源:IT之家 作者:漾仔(实习) 责编:汪淼

IT之家 6 月 13 日消息,众所周知,阿联酋在科技及教育产业方面投入的预算一直不菲,近日,阿联酋科技创新研究所(TII)打造出了 400 亿参数的语言模型 Falcon-40B,在 Hugging Face 的 OpenLLM 排行榜上排名第一,并持续霸榜,赢过此前 LLaMA、StableLM 和 RedPajama 等竞争者

▲ 图源 阿联酋科技创新研究所(TII)

据称,Falcon-40B 使用了 384 颗 GPU 来进行 2 个月的训练、利用将近 5 亿个 Token 训练而成。为提高训练过程的质量,团队还自己组建了一套工作流程来筛选出“最高质量的的资料”供给 AI 模型训练。经多个基准测试,表现比 LLaMA、Vicuna 和 Alpaca 更加出色。

此外,团队还采用了“多重查询注意力”(Multiqery attention)机制,来提高模型的效率。“多重查询注意力”机制即模型可以对每个 Token 进行多个查询,来更好表示同一序列中,不同 token 之间的关系,以在加速模型运算效率的同时,降低模型的复杂性,进而提高模型整体的可维护性。

阿联酋科技创新研究所首席执行官 Ray O. Johnson 博士表示:“2023 年将是人工智能之年。Falcon 模型对我们来说具有里程碑意义,但这仅仅是个开始”。

IT之家注意到,Falcon 模型已经在 huggingface 上开源,目前开源的版本有 Falcon-7B-Instruct 和 Falcon-40B-Instruct 等,IT之家的小伙伴们可以在这里访问

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:阿联酋falcon模型TII

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用