1、久谦|服务进步的群体|1 保密 ChatGPT 纪要分享 久谦中台 二三年二月 本纪要仅基于本所迄今为止可获得的信息编写。未经久谦咨询事先书面同意，任何其他人士或实体不得使用本纪要，本纪要亦不能用于任何其他目的。即使在经久谦咨询同意的情况下向任何其他人士或实体披露了本纪要，久谦咨询不会就本纪要的内容对该等其他人士和实体承担任何责任。久谦 获取更多最新资料请加微信：chensasa666久谦|服务进步的群体|2 观点总结 1ChatGPT 是社会发展的必然结果，2030 年数字化劳动力市场规模可达 1.73 万亿元 aChatGPT 催生路径=社会问题+技术迭代 i2008 年全球金融危机-云计
2、算产业-人工智能 ii2020 年全球疫情-经济压力-企业降本增效-加快数字劳动力发展（文字工作者、方案策划师、程序员等）-NLP 技术赋能 bChatGPT 技术路径=Transformer 结构-1,750 亿参数+巨大算力+单一模型+文字问答 i冷启动监督策略模型：Transformer-GPT-GPT2-GPT3-ChatGPT ii训练回报模型：机器学习-人类训练师+人工智能助手-结果以质量排序 iii使用强化学习策略：随机指令+初始化 PPO 模型参数-更新模型 2中短期内 ChatGPT 对产业生态不会带来实质性的颠覆，产业链参与者仍有机会 a技术痛点:新数据不友好+预训练模型（
3、数据集积累仅截至 2021 年）i新数据：未能建立和实时信息的连接 ii预训练模型：如何保持实时更新 iii产品体验：未达到理想状态（未必能超越垂直类产品）b商业痛点：不开源+商业模式不清晰+运营成本高 iTo C-To B（微软-应用在 Office 中）ii潜在广告收入少-短期内无法替代搜索引擎=俱进且并存 iii开发成本+企业使用成本 3国内企业的入场机会和发展现状 a大厂：百度-字节-腾讯-阿里-自研趋势 i百度（文心一言-ERNIEBot）：自主研发平台+文心大模型+预训练大模型积累=To B（付费意愿稳定）+To C 产品 ii字节：AIGC（短视频+图文）-数据+算法=语言处理模
4、型 iii阿里：AIGC（营销）iv腾讯：AIGC（广告+社交+游戏）b小厂：入局机会小，可作为大厂客户接入 i技术积累薄弱+数据训练基础及经验不足+数据库及人力资源受限 ii布局大厂下游 To B 应用端产品（需等待大厂开放 B 端应用接入）c阻力：技术+硬件+政策 i中美 ChatGPT 发展仍存差距：模型+规模-训练程度-回答的逻辑性+完整度-API 调用-企业生态 ii芯片：算力瓶颈 iii监管政策：国内引入 ChatGPT 政策尚未完善+规章制度尚未建立 4产业链机会及相关标的 a上游数据处理+下游智能应用 i数据标注+算力+数据清洗+数据采集 ii智能客服+聊天机器人 久谦 获取更
5、多最新资料请加微信：chensasa666久谦|服务进步的群体|3 b计算机：算法+算力+数据 i算法：科大讯飞、拓尔思（NLP）、海康威视（图像识别）、云从科技（图像识别）、格林深瞳（图像识别）ii算力：海光信息（DCU）、寒武纪（AI 芯片）、景嘉微（GPU）iii数据：天瑞声 c传媒：平台+光模块+运营商 i平台：中文在线、视觉中国、昆仑万维 ii光模块：中际旭创（800G 光模块龙头+最早放量+最高份额和订单+股权激励+估值水平较低）iii中国移动 5ChatGPT 未来迭代和产业辐射 a基础=纯粹创新精神+长期主义：创新型+投入+决心+顶尖人才储备 b支点=算力+GPU+商业模式 i
6、大算力+大模型 ii芯片：国产化替代 iii知识定制化：特定领域数据（医疗、司法）iv产业厂商合作：大公司-训练大模型+小公司-数据收集-商业化 v产业辐射：数据（收集+处理+清洗）、智能对话（客服、机器人）、创作（素材收集+写作）、虚拟现实、教育 获取更多最新资料请加微信：chensasa666久谦|服务进步的群体|4 目录 OpenAI 高管解密 ChatGPT.5 国产 ChatGPT 何时问世？.15 ChatGPT 中美差距究竟有多大.20 如何理解 ChatGPT 的强势出圈和国内发展.22 全面解读 ChatGPT 产业链机会.27 ChatGPT 来龙去脉.33 ChatGPT
7、 学习笔记.35 2023 电子产业展望.41 AIGC 路演纪要.45 AI 或是新年预期差最大的计算机投资主线.47 全球科技创新核心 AI 发展.49 OpenAI 嵌入微软 Office 与 Bing，智能化向 C 端开始渗透.54 从 ChatGPT 热议看大模型潜力.56 AI 产业链研究之 ChatGPT 下游应用和场景商业化广阔.60 ChatGPT 与人形机器人共舞.63 微软新版 Bing 搜索引擎发布会.67 从美国科技巨头财报看 AI 的发展和应用.71 从北美云厂商的 AI 规划看光通信的结构创新.77 从微软和 OpenAI 的合作来梳理 AI 投资逻辑.79 微软
8、公司业绩交流.82 微软公司各业务线情况.85 微软 FY 2023Q2 业绩会.90 平治信息公司走访.93 云从科技走访.95 科大讯飞表现分析.98 科大讯飞 22 年度业绩预告说明会.102 科大讯飞访谈交流.107 拓尔思访谈交流.109 拓尔思 ChatGPT 市场化展望.114 拓尔思 ChatGPT 相关.122 科大讯飞投资价值研究分析与行业前景.127 ChatGPT 与商汤电话会.131 获取更多最新资料请加微信：chensasa666久谦|服务进步的群体|5 OpenAI 高管解密 ChatGPT 访谈日期：2023/2/8 具体内容 GPT-3 是一种大型语言模型，被
9、训练用来在给定上下文中预测下一个单词，使用Transformer 架构 1它很灵活，可以用于翻译、摘要、分类和问答等任务。GPT-3 的优势在于它的简单性和不需要专门训练数据集就能表现良好的能力 2GPT-3 可以用于翻译任务，方法是提供比如“德语：英语”对的翻译样例（如果是德英翻译），或者像问人一样要求模型翻译给定的句子 3尽管 GPT-3 主要是在英语数据上训练的，但仍然能够在翻译任务中表现良好，因为它能够通过提供的样例中的模式，并利用自己的一般语言能力产生翻译 aGPT-3 也可以用于摘要和问答等任务。GPT-3 在商业应用中也取得了成功，如文本生成和问答。它明显比早期版本的 GPT（规
10、模）更大、（功能）更强大，训练的数据也更多 b它被用来生成创意写作任务的起点或变体，如产品描述，并已与 OpenAIAPI 集成，使开发人员更容易使用 cAPI 允许用户对 GPT-3 进行特定任务的微调，包括设置学习率和数据的过渡次数，以及选择模型大小 4PeterWelinder 现任 OpenAI 产品与合作伙伴副总裁，负责 GPT-3 的运行和其他业务，在此之前，他曾是 OpenAI 的研发主管。使用 GPT-3 解决现实世界的问题 Peter，上次我们谈话时，我记得你在 OpenAI 做研究，但现在我们发现你是OpenAI 的产品和合作伙伴关系副总裁，我很好奇这意味着什么？你每天都在
11、做什么？1我今天所做的与我做研究时完全不同，对我来说，做研究一直都是为了解决最困难的问题，以便真正对世界产生某种影响。我个人更倾向于研究的最终目标，而不是研究本身，做研究真的很有趣，你知道，深入研究，探索事物，最后总是有一个目标 2GPT-3 发生了一件令人兴奋的事情当我开始在 OpenAI 工作时，我做的很多事情都是机器人方面的。对于机器人技术来说，你在实验室里能做的事情和你在现实世界里能做的事情之间还有一些差距。使用 GPT-3，当我们在 GPT-3 中得到第一个结果时，很明显我们有一些东西可以开始应用于现实世界的问题，而不仅仅是做酷炫的演示 a当我从事机器人工作时，我们最后得到的是一个非
12、常酷的机器人手解魔方的演示，但每个人的家里并不具备部署它的条件 b即使它足够强大，我也不知道它对解决魔方有多大用处，这是一种非常昂贵的方法。但是有了 GPT-3，我们有了一个语言模型，你现在可以应用它来解决各种不同的问题，从翻译到总结，再到分类和问答等应有尽有，这是一个非常灵获取更多最新资料请加微信：chensasa666久谦|服务进步的群体|6 活的模式 c所以，我们要做的就是看看这个模型来解决现实世界的问题是否足够好，对我来说，这是一个非常有趣的领域 3当你拥有这项非常强大的新技术，有可能改变很多事物的工作方式时，这一切都是为了找到合适的方法来解决问题，看看你如何利用你工具箱里的工具来解决
13、这些问题。不同的是，作为研究人员，我所做的是提出正确的基础和正确的方法来衡量进展。当目标非常遥远时，你需要想出这些玩具的方法来评估进展 a现在，就像客户告诉我们“嘿，我正在尝试将 GPT-3 应用到这个用例中”，但它不起作用或太慢等诸如此类的事情，这些问题要具体得多 b我的日常，现在更多的是建立一个团队，用我们在 OpenAI 开发的技术来解决这些现实问题 当你将 GPT-3 与其他用于大型语言模型的方法进行比较时，这似乎是一种趋势。你是否注意到它在工作方式上有哪些关键差异，采取某种方式是否有所不同？1这是一个很好问题，我认为我真正喜欢 GPT-3 的地方，以及我认为它与众不同的主要方式是 G
14、PT-3 所做的一切都非常简单 2GPT-3 是一个大型语言模型，大型神经网络。它使用的是谷歌几年前推出的一种非常流行的 Transformer 架构，如今，它基本上为所有不同的语言模型提供了支持，而且它也开始进入其他领域，比如计算机视觉等 3GPT-3 的设置非常简单，它可以有一些上下文，你可以看看文本的历史。如果你正在读一本书，你可以看一页或一段文字，然后它试着预测下一个单词，这就是GPT-3 的训练方式。它只是训练了来自不同来源的大量文本，大部分来自互联网。它只是一遍又一遍地训练，根据它看到的一些单词，预测下一个单词 4你可以从几个单词开始，但当我们今天训练这些模型时，我们训练它们的数量
15、级是一千或几千个单词，你可以回顾这 1,000 个单词，然后试着预测下一个单词。所以设置非常简单，你只需要在这些庞大的文本数据集上训练它，以便继续预测下一个单词，并在这方面做得非常好 a我认为 GPT-3 的令人惊讶之处在于，如果你这样做，然后你把模型变得非常大，这让它有巨大的学习能力，然后它就会非常擅长以前你需要专门模型的一系列任务 b以前如果你想进行翻译，你就需要一种专门翻译的神经网络，或者如果你想做总结，同样，你会以特定的方式设置你的网络，然后只训练它完成总结任务 c我们在使用 GPT-3 中发现，你实际上在一些基准测试中获得了非常接近最先进的表现，这些基准测试包括总结、翻译、问题回答等
16、等 d该模型使用的是一个刚刚在互联网上训练过的模型，它不专门执行任何任务，而是能够以与阅读文本相似的方式再现文本。将 GPT-3 应用于翻译任务 实际上，如何将其应用到翻译任务中，你如何把“预测下一个单词”变成一个翻译？1在很多其他的大型语言模型中，都有一些特定的步骤，你可以对一段文本进行编码。所以你会在神经网络中创建一些表示 获取更多最新资料请加微信：chensasa666久谦|服务进步的群体|7 2然后你会有一个解码器来接受它，然后用它来写一些句子。例如：如果你做翻译，你会把它编码成某种表示，然后你的神经网络会有一个单独的部分来接受这种表示，并尝试输出你想要的东西，输入可能是一个德语的句子，输出的可能是一个英语的句子，而且，你知道它是专门为此训练的 a那么对于你的问题，你如何处理 GPT-3 呢？最简单的方法是：你可以提供一些例子，说明翻译可能的样子，仅以纯文本形式，你会写“德语：”和一些德语句子，然后是“英语：”和一些英语句子 b你可能只提供一个例子，那么这个称为一下（one-shot），你可以提供一些例子，基本上都是“德语或者英语”的一些例子，然后你可以输入你想翻译的新句子，这
