解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗
《解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗》由会员分享,可在线阅读,更多相关《解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗(6页珍藏版)》请在启牛文库网上搜索。
1、解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗近段时间,ChatGPT 横空出世并获得巨大成功,使得 RLHF、SFT、IFT、CoT 等这些晦涩的缩写开始出现在普罗大众的讨论中。这些晦涩的首字母缩略词究竟是什么意思?为什么它们如此重要?我们调查了相关的所有重要论文,以对这些工作进行分类,总结迄今为止的工作,并对后续工作进行展望。我们先来看看基于语言模型的会话代理的全景。ChatGPT 并非首创,事实上很多组织在 OpenAI之前就发布了自己的语言模型对话代理(dialog agents),包括 Meta 的 BlenderBot,Google 的LaMDA,Deep
2、Mind 的 Sparrow,以及 Anthropic 的 Assistant(Anthropic 的 Claude 就是部分基于 Assistant 继续开发而得的)。其中一些团队还公布了他们构建开源聊天机器人的计划,并公开分享了路线图(比如 LAION 团队的 Open Assistant),其他团队肯定也有类似的内容,但尚未宣布。下表根据是否能公开访问、训练数据、模型架构和评估方向的详细信息对这些 AI 聊天机器人进行了比较。ChatGPT 没有这些信息的记录,因此我们改为使用 InstructGPT 的详细信息,这是一个来自 OpenAI 的指令微调模型,据信它是 ChatGPT 的基
3、础。LaMDABlenderBot 3SparrowChatGPT/InstructGPTAssistant组织GoogleMetaDeepMindOpenAIAnthropic能否公开访问否能否有限否大小137B175B70B175B52B预训练基础模型未知OPTChinchillaGPT-3.5未知预训练语料库大小(词数)2.81T180B1.4T未知400B模型是否可以访问网络有监督微调获取更多最新资料请加微信:chensasa666LaMDABlenderBot 3SparrowChatGPT/InstructGPTAssistant微调数据大小质量:6.4K 安全性:8K 真实性:4
4、K IR:49K大小从 18K 到1.2M 不等的 20个 NLP 数据集未知12.7K(此为InstructGPT,ChatGPT 可能更多)150K+LM 生成的数据RLHF人为制定的安全规则评价标准1、质量(合情性、具体性、趣味性)2、安全性(偏见)3、真实性1、质量(参与度、知识运用)2、安全性(毒性、偏见)1、校直(有帮助,无害,正确)2、证据(来自网络)3、是否违反规则4、偏见和刻板印象5、诚信度1、校直(有帮助、无害、真实)2、偏见1、校直(有帮助、无害、诚实)2、偏见用于数据标注的众包平台美国供应商亚马逊 MTurk未知Upwork 和 ScaleAISurge AI、Amaz
5、onMTurk 和Upwork我们观察到,尽管在训练数据、模型和微调方面存在许多差异,但也存在一些共性。上述所有聊天机器人的一个共同目标是指令依从(instruction following),即遵循用户指定的指令。例如,要求 ChatGPT 写一首关于微调的诗。获取更多最新资料请加微信:chensasa666ChatGPT 指令示例从预测文本到遵循指令通常,基础模型的语言建模目标不足以让模型学会以有用的方式遵循用户的指令。模型创建者使用指令微调(Instruction Fine-Tuning,IFT)方法来达到该目的,该方法除了使用情感分析、文本分类、摘要等经典 NLP 任务来微调模型外,还
6、在非常多样化的任务集上向基础模型示范各种书面指令及其输出,从而实现对基础模型的微调。这些指令示范由三个主要部分组成 指令、输入和输出。输入是可选的,一些任务只需要指令,如上文使用 ChatGPT 做开放式文本生成的示例。当存在输入时,输入和输出组成一个实例(instance)。给定指令可以有多个输入和输出实例。如下例(摘自 Wang 等,22):指令和实例示例获取更多最新资料请加微信:chensasa666IFT 的训练数据通常是人工编写的指令及用语言模型自举(bootstrap)生成的实例的集合。在自举时,先使用少样本技术输入一些样本给 LM 用于提示它(如上图所示),随后要求 LM 生成新
7、的指令、输入和输出。每一轮都会从人工编写的样本和模型生成的样本中各选择一些送给模型。人类和模型对创建数据集的贡献构成了一个谱图,见下图:IFT 谱图谱图的一端是纯模型生成的 IFT 数据集,例如 Unnatural Instructions(Honovich 等,22);另一端是经由社区的大量努力精心制作的指令如 Super-natural instructions(Wang 等,22)。在这两者之间的工作是使用一小组高质量的种子数据集,然后进行自举生成最终数据集,如 Self-Instruct(Wang 等,22)。为 IFT 整理数据集的另一种方法是将现有的用于各种任务(包括提示)的高质量
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 解读 ChatGPT 背后的技术重点:RLHF、IFT、CoT、红蓝对抗 背后 技术 重点 RLHF IFT CoT 对抗