设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

ChatGPT 真实参数只有 200 亿,首次被微软曝光!网友:难怪 OpenAI 对开源很紧张

量子位 2023/10/31 22:50:06 责编:问舟
感谢IT之家网友 Alejandro86华科学霸 的线索投递!

突然间,整个大模型圈都在谈论同一件事。微软论文里一张「乍一看不足为奇」的统计图,泄露了“天机”。引领全球风暴的 ChatGPT,背后大模型参数竟只有 200 亿???

论文一经发布,就吸引了国内外众多关注。

不少网友还不相信:确定不是拼写错了?

有网友表示:难怪 OpenAI 对开源这么紧张。又或者,这也许是为 OpenAI 开源做准备。

无独有偶,就在前几天有网友在 GitHub Copilot 的 API 中发现了疑似 GPT-4 新型号:copilot-gpt-4-2,所拥有的知识更新到了 2023 年 3 月。

这篇论文说了啥?

除了泄露机密,这篇论文本身也值得一看:业内首个用扩散模型做代码生成。

研究团队设想了这样一个场景:

如果开发人员只能修改最后一行代码,那么需要多少次从头开始编写一个函数才能完成呢?

用自然语言生成代码的自回归模型也有类似的局限性:不太容易重新考虑之前生成的 tokens。

微软研究员提出了采用编码-解码架构的 CODEFUSION,主要包括编码器、解码器、去噪器以及 Classification Head,将自然语言输入编码为连续表示,然后将其附加条件输入 Diffusion 模型中用高斯噪声进行迭代去噪。

为了生成语法正确的代码,去噪后输入解码器中获得代码 tokens,通过针对代码的连续段落去噪 (CPD) 任务预训练 CODEFUSION。

在 Python、Bash 和 Excel 条件格式化(CF)规则三个语言任务上评估了 CODEFUSION。

结果显示其 7500 万参数规模 CODEFUSION 性能,同 200 亿参数的 GPT-3.5-turbo 接近,而且还生成更加多样化的代码。

与纯文本生成的 diffusion 模型相比,CODEFUSION 生成更多语法正确的代码;与自动回归模型相比,生成更加多样化的候选代码。

与最先进的自回归系统(350M-175B 参数)相比,在前 1 名的准确率方面表现相当,而在前 3 名和前 5 名的准确率方面,由于其在多样性与质量之间取得了更好的平衡,其表现优于自回归系统。

结果这原本只是一次再正常不过的性能比较,没想到引起轩然大波。

也有人开始了阴谋论,或许这是 OpenAI 开源的“前菜”,故意而为之 ——

因为不少大模型已经追赶上来了,而且早在今年 5 月,路透社就曾爆料 OpenAI 准备开源新大语言模型。

One More Thing

值得一提的是,早在今年 2 月份福布斯一则新闻报道里,就曾透露过 ChatGPT 只有 200 亿参数。

当时标题是「越大越好吗?为什么 ChatGPT VS GPT-3 VS GPT-4 的 “战斗 “只是一次家庭聊天?」

只是当时没有太多人在意。

参考链接:

  • [1]https://twitter.com/felix_red_panda/status/1718916631512949248

  • [2]https://x.com/teortaxesTex/status/1718972447024623898?s=20

  • [3]https://www.reddit.com/r/singularity/comments/17jrepb/microsoft_paper_claims_chatgpt_35_has_20_billion/

  • [4]https://www.zhihu.com/question/628395521

  • [5]https://www.reddit.com/r/ChatGPT/comments/17ht56t/new_leaks_about_upcoming_developments_with_openai/?share_id=txV27HR0zw0TjV8dLXf4l

  • [6]https://www.forbes.com/sites/forbestechcouncil/2023/02/17/is-bigger-better-why-the-chatgpt-vs-gpt-3-vs-gpt-4-battle-is-just-a-family-chat/amp/

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

关键词:OpenAI ChatGPT

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用