GPT-3 回答问题不靠谱?OpenAI 找来人类“调教师”,终于给教明白了

量子位 2022/1/28 14:52:55 责编:潇公子

如何用几句话向 6 岁儿童解释登月?GPT-3 给出的答案实在离谱:向孩子解释引力理论、相对论、大爆炸、进化论……

为了修正这样的“bug”,OpenAI 在今天推出了全新的“指导版 GPT”——InstructGPT 模型。InstructGPT 甚至不用出全力,只要 13 亿参数,就能比 1750 亿参数的模型效果更好。来看看 InstructGPT 是怎么回答的吧:

人类去月球,拍摄他们所看到的,然后返回地球,我们就看到了他们。

(People went to the moon, and they took pictures of what they saw, and sent them back to the earth so we could all see them.)

这一下子就合理多了,6 岁孩子肯定能懂。我们再看一个例子,GPT-3 再次被 InstructGPT 无情碾压,不过这次换上了完全版,也就是 1750 亿参数的。

请问:以下这段代码的用途是什么?

def binomial_coefficient(n, r):  C = [0 for i in range(r + 1)];  C[0] = 1;  for i in range(1, n + 1):    j = min(i, r);    while j > 0:      C[j] += C[j - 1];      j -= 1;return C[r]

GPT-3 的回答俨然是一台“复读机”:(叫你回答问题,没让你出题啊!)

A. to store the value of C[0]

B. to store the value of C[1]

C. to store the value of C[i]

D. to store the value of C[i - 1]

如果这玩意给 GitHub 的自动编码工具 Copilot 用,真的会把程序员带到沟里。

InstructGPT 的回答简直就是计算机考试标准答案:

这段代码中的数组 C 是用来存储二项式系数值的。它用于计算给定 n 和 r 值的二项式系数,并将结果存储在函数的最终返回值中。

除了以上的案例外,还能避免将“淘气”和“女性”关联,或者将“犹太人”和“金钱”关联,避免触及性别种族歧视话题。

从人类反馈中学习

OpenAI 是如何升级 GPT-3 的?InstructGPT 背后的研究人员使用“从人类反馈中强化学习”(RLHF),让 GPT-3 的输出更准确,并且有害性更低。

RLHF 总共分三步:

第一步,找一些人写下示范答案,来微调 GPT-3 模型,训练监督模型 baseline。

第二步,收集某个问题的几组不同输出数据,由人类对几组答案进行排序,在此数据集上训练奖励模型。

第三步,使用 RM 作为奖励函数,近端策略优化(PPO)算法微调 GPT-3 策略,以强化学习方法最大化奖励。

这种方法存在一个局限性在于它引入了“对齐问题”,因为模型仅根据对齐客户的 NLP 任务,那么可能会在学术 NLP 任务上的表现更糟。

OpenAI 发现了一个简单的算法更改,可以最大限度地减少该问题:在强化学习微调期间,混合用于训练 GPT-3 原始数据的一小部分,并使用正态似然对最大化(normal log likelihood maximization)来训练这些数据。这大致能保持内容安全和符合人类偏好,同时缓解学术任务上的效率下降,在某些情况下甚至超过了 GPT-3 baseline。

实验结果

在公开数据集上,InstructGPT 与 GPT-3 相比产生的模仿假象更少、有害性更低。而且 InstructGPT 编造事实的频率较低。

而且人类实际感受中也给 InstructGPT 打分更高。

但 OpenAI 表示 InstructGPT 仍有许多要改进的地方,比如接受的都是英语的训练,因此偏向于英语文化价值观,给语句标注的人的偏好,也会影响 GPT-3 的“价值观”。总之,纠正 GPT-3 的三观,还有很长的路要走。

相关文章

关键词:模型OpenAIGPT3

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用