17ChatGPT发展历程、原理、技术架构详解和产业未来
《17ChatGPT发展历程、原理、技术架构详解和产业未来》由会员分享,可在线阅读,更多相关《17ChatGPT发展历程、原理、技术架构详解和产业未来(15页珍藏版)》请在启牛文库网上搜索。
1、来源:陈巍谈芯,本文将介绍ChatGPT的特点、功能、技术架构、局限、产业应用、投资机会和未来。作者:陈巍 博士,作者本人曾担任华为系自然语言处理(NLP)企业的首席科学家。存算一体/GPU架构和AI专家,高级职称。中关村云计算产业联盟,中国光学工程学会专家,国际计算机学会(ACM)会员,中国计算机学会(CCF)专业会员。曾任AI企业首席科学家、存储芯片大厂3D NAND设计负责人,主要成就包括国内首个大算力可重构存算处理器产品架构(已在互联网大厂完成原型内测),首个医疗领域专用AI处理器(已落地应用),首个RISC-V/x86/ARM平台兼容的AI加速编译器(与阿里平头哥/芯来合作,已应用)
2、,国内首个3D NAND芯片架构与设计团队建立(与三星对标),国内首个嵌入式闪存编译器(与台积电对标,已平台级应用)ChatGPT专题ChatGPT发展历程、原理、技术架构详解和产业未来获取更多最新资料请加微信:chensasa6660,引言先上参考网页或论文。专业的读者可以直接看paper。ChatGPT:Optimizing Language Models for Dialogue ChatGPT:Optimizing Language Modelsfor DialogueGPT论文:Language Models are Few-Shot Learners Language Models
3、 are Few-Shot LearnersInstructGPT 论 文:Training language models to follow instructions with human feedbackTraining language models to follow instructions with human feedbackhuggingface解读RHLF算法:Illustrating Reinforcement Learning from Human Feedback(RLHF)Illustrating Reinforcement Learning from Human
4、Feedback(RLHF)RHLF算法论文:Augmenting Reinforcement Learning with Human Feedbackcs.utexas.edu/ai-lab/pTAMER框架论文:Interactively Shaping Agents via Human Reinforcementcs.utexas.edu/bradknoxPPO算法:Proximal Policy Optimization Algorithms Proximal Policy Optimization Algorithms今年12月1日,OpenAI推出人工智能聊天原型ChatGPT,再
5、次赚足眼球,为AI界引发了类似AIGC让艺术家失业的大讨论。据报道,ChatGPT在开放试用的短短几天,就吸引了超过 100 万互联网注册用户。并且社交网络流传出各种询问或调戏ChatGPT的有趣对话。甚至有人将ChatGPT比喻为“搜索引擎+社交软件”的结合体,能够在实时互动的过程中获得问题的合理答案。ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入,产生相应的智能回答。这个回答可以是简短的词语,也可以是长篇大论。其中GPT是Generative Pre-trainedTransformer(生成型预训练变换模型)的缩写。通过学习大量现成文本和对话集合(例如Wiki)
6、,ChatGPT能够像人类那样即时对话,流畅的回答各种问题。(当然回答速度比人还是慢一些)无论是英文还是其他语言(例如中文、韩语等),从回答历史问题,到写故事,甚至是撰写商业计划书和行业分析,“几乎”无所不能。甚至有程序员贴出了ChatGPT进行程序修改的对话。ChatGPT也可以与其他AIGC模型联合使用,获得更加炫酷实用的功能。例如上面通过对话生成客厅设计图。这极大加强了AI应用与客户对话的能力,使我们看到了AI大规模落地的曙光。1,ChatGPT的传承与特点获取更多最新资料请加微信:chensasa6661.1 OpenAI家族我们首先了解下OpenAI是哪路大神。OpenAI总部位于旧
7、金山,由特斯拉的马斯克、Sam Altman及其他投资者在2015年共同创立,目标是开发造福全人类的AI技术。而马斯克则在2018年时因公司发展方向分歧而离开。此前,OpenAI 因推出 GPT系列自然语言处理模型而闻名。从2018年起,OpenAI就开始发布生成式预训练语言模型GPT(Generative Pre-trained Transformer),可用于生成文章、代码、机器翻译、问答等各类内容。每一代GPT模型的参数量都爆炸式增长,堪称“越大越好”。2019年2月发布的GPT-2参数量为15亿,而2020年5月的GPT-3,参数量达到了1750亿。GPT家族主要模型对比1.2 Cha
8、tGPT的主要特点ChatGPT 是基于GPT-3.5(Generative Pre-trained Transformer 3.5)架构开发的对话AI模型,是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演练,或用于收集大量对话数据。获取更多最新资料请加微信:chensasa666ChatGPT的主要特点OpenAI使用 RLHF(Reinforcement Learning from Human Feedbac,人类反馈强化学习)技术对 ChatGPT 进行了训练,且加入了更多人工监督进行微调。此外,ChatGPT 还具有以下特征:1)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 17 ChatGPT 发展 历程 原理 技术 架构 详解 产业 未来