1、深入了解ChatGPT一、ChatGPT 到底是什么？2022年11月30日，OpenAI 的CEO，Altman 在推特上写道：“今天我们推出了ChatGPT，尝试在这里与它交谈”，然后是一个链接，任何人都可以注册一个帐户，开始免费与 OpenAI 的新聊天机器人 ChatGPT 交谈。ChatGPT 是 OpenAI 训练的对话式大规模语言模型，以对话的方式进行交互。它是 GPT-3 的衍生产品，以对话的方式进行交互。这种对话允许 ChatGPT 回答连续的问题、生成文本摘要、翻译文档、对信息分类、写代码以及撰写人们要求的几乎任何类型的书面材料，包括商业计划、广告活动、诗歌、笑话、计算机代
2、码和电影剧本。ChatGPT 会在一秒内生成这些内容，用户无须等待，而且它生成的很多内容都还不错。它也会承认错误、质疑不正确的前提并拒绝不恰当的请求。不同于别的语言模型胡编乱造，例如 Meta 的语言模型 Galactica 因为不负责任的胡编乱造，上线几天就下架了。ChatGPT 的不同之处在于，当它不知道自己在说什么时，它承认不知道。此外，ChatGPT 拒绝回答它没有受过训练的问题，例如，它不会试图回答有关 2022 年之后发生的事件的问题。它也不会回答关于个人的问题。试用地址：在ChatGPT发布后的五天内，就有超过100万的用户，这是Facebook花了 10 个月才达到的里程碑。获
3、取更多最新资料请加微信：chensasa666二、ChatGPT提示和技巧速查手册Cheatsheet列出了所有关于如何有效使用ChatGPT的提示和技巧访问地址：https:/quickref.me/chatgpt?continueFlag=65ff467d211b30f478b1424e5963f0ca获取更多最新资料请加微信：chensasa666三、ChatGPT发展史ChatGPT 由 GPT-3.5 模型提供支持，GPT（Generative Pre-trainedTransformer，生成式预训练变换器)是一种基于互联网可用数据训练的文本生成深度学习模型。名字中之所以有一个Tr
4、ansformer，是因为GPT就是OpenAI在谷歌的Transformer语言模型框架的基础上构建的。该模型使用了 利用人类反馈强化学习(RLHF)的训练方式,包括了：人类提问机器答、机器提问人类回答，并且不断迭代，让模型逐渐有了对生成答案的评判能力。在ChatGPT出现之前，大众对OpenAI的了解很少，这家公司就好像突然出现的一样，它到底是什么来历？实际上，OpenAI的创始人有很多是的IT巨头的创始人，可以说是全明星阵容。2015年12月，OpenAI创立获取更多最新资料请加微信：chensasa6662015年12月，OpenAI公司于美国旧金山成立。说来有趣，OpenAI成立的一
5、个原因就是避免谷歌在人工智能领域的垄断。这个想法起源于Altman发起的一次主题晚宴，当时他是著名创业孵化器 Y Combinator 的负责人。Sam Altman 是一位年轻的企业家和风险投资家，他曾在斯坦福大学读计算机科学专业，后来退学去创业。他创立的 Loopt，是一个基于地理位置的社交网络公司。2005年该公司进入Y Combinator的首批创业公司。虽然 Loopt 未能成功，但 Altman 把公司卖掉了，用赚到的钱进入了风险投资领域，做得相当成功。后来，Y Combinator 的联合创始人保罗格雷厄姆(Paul Graham)和利文斯顿(Livingston)聘请他作为格雷
6、厄姆的继任者来管理 YC。OpenAI的CEO Sam Altman2015 年 7 月的一个晚上，Altman在 Rosewood Sand Hill 举办了一场私人晚宴，这是一家豪华的牧场风格酒店，位于门洛帕克硅谷风险投资行业的中心，马斯克（Elon Musk）也在现场，还有26岁的布罗克曼，他是麻省理工学院（MIT）的辍学生，曾担任支付处理初创公司Stripe的首席技术官。一些与会者是经验丰富的人工智能研究人员。有些人几乎不懂机器学习，但他们都相信 AGI是可行的。AGI即Artificial general intelligence的简写，指通用人工智能。专注于研制像人一样思考、像人一
7、样从事多种用途的机器智能。目前主流AI（如机器视觉、语音获取更多最新资料请加微信：chensasa666输入等）都属于专用人工智能。那时，谷歌刚刚收购了一家总部位于伦敦的人工智能公司DeepMind（就是推出了打败围棋冠军的AlphaGo的公司），在Altman、Elon Musk和其他科技业内部人士看来，这是首家最有可能率先开发 AGI 的公司。如果 DeepMind 成功了，谷歌可能会垄断这项无所不能的技术。Rosewood 晚宴的目的是讨论组建一个与谷歌竞争的实验室，以确保这种情况不会发生。说干就干，几个月后，OpenAI 就成立了。它旨在成为DeepMind 和谷歌无法做到的一切。它将
8、作为一个非营利组织运营，明确致力于使先进人工智能的好处民主化。它承诺发布其研究成果，并开源其所有技术，其对透明度的承诺体现在其名称中：OpenAI。获取更多最新资料请加微信：chensasa666OpenAI 捐助者名册令人印象深刻，不仅有特斯拉的创始人马斯克（ElonMusk），还有全球在线支付平台 PayPal 的联合创始人彼得蒂尔、Linkedin的创始人里德霍夫曼、创业孵化器Y Combinator总裁阿尔特曼（Sam Altman）、Stripe的CTO布罗克曼（Greg Brockman）、Y Combinator 联合创始人 JessicaLivingston；还有一些机构，如Y
9、C Research，Altman创立的基金会、印度 IT外包公司 Infosys和亚马逊网页服务。创始捐助者共同承诺向这个理想主义的新企业捐助 10 亿美元（尽管根据税务记录，该非营利组织只收到了引人注目的承诺的一小部分）。获取更多最新资料请加微信：chensasa666OpenAI 也吸引了许多技术大牛加入，如 Ilya Sutskever,Carlos Virella,JamesGreene,Wojciech Zaremb等。这里重点提一下联合创始人Ilya Sutskever，他是OpenAI的首席科学家，在进入OpenAI之前，他在谷歌开发 AlphaGo，而在OpenAI，他带领团
10、队开发了GPT、CLIP、DALL-E和Codex等AI模型。2016年，OpenAI 推出Gym2016年，OpenAI 推出了Gym，这是一个允许研究人员开发和比较强化学习系统的平台，可以教AI做出具有最佳累积回报的决策。Universe游戏环境，用于人类模拟器同年，OpenAI还发布了Universe，这是一个能在几乎所有环境中衡量和训练 AI通用智能水平的开源平台，目标是让 AI 智能体能像人一样使用计算机。Universe 从李飞飞等人创立的 ImageNet 上获得启发，希望把 ImageNet 在降低图像识别错误率上的成功经验引入到通用人工智能的研究上来，取得实质进展。OpenA
11、I Universe提供了跨网站和游戏平台训练智能代理的工具包，有1000种训练环境，由微软、英伟达等公司参与建设。虽然在创立后，OpenAI一直在推出技术产品，看起来也有不错的成绩，但跟谷歌没法比。在那段时间，谷歌的成绩才是真正辉煌。获取更多最新资料请加微信：chensasa6662016年3月9日，AlphaGo与围棋冠军李世石围棋大战，最终以4:1胜出。一年之后，新版的AlphaGo又以3:0战胜了围棋冠军柯洁。之后发布的AlphaZero更是让人惊叹，它在三天内自学了三种不同的棋类游戏，包括国际象棋、围棋和日本将军棋，而且无需人工干预。这是一种人类从未见过的智慧。这些成果好像验证了20
12、15年，大家在聚会上的判断，谷歌很可能在人工智能领域的形成垄断地位。确实，从AlphaGo的成功来看，谷歌已经牢牢占住了人工智能的高地，无人可以撼动。谷歌还收购了十几家AI公司，投入的资金和资源巨大，成果斐然。2016年4月，谷歌著名的深度学习框架TensorFlow发布分布式版本；8月，Google发布基于深度学习的NLU框架SyntaxNet；9月，Google上线基于深度学习的机器翻译。而且，谷歌的 CEO 桑德皮查伊(Sundar Pichai)在 2016 年 5 月宣布将公司从“移动为先”的策略转变成“人工智能为先”（AI First）。并计划在公司的每一个产品上都应用机器学习的算
13、法。也就是说，谷歌已经开始把人工智能技术变成了自己的业务优势，去赚钱或者省钱了。看起来，OpenAI 离战胜谷歌的预期目标还很远。2017年开始，一些人工智能大牛离开了OpenAI，如Ian Goodfellow 和 Pieter Abbeel 等。OpenAI的前途在哪里呢？没想到，OpenAI 决定与谷歌硬碰硬。竟然在谷歌开创的道路上，取得了震惊业内的突破，持续推出了GPT系列模型，并迅速拓展到多个富有前景的商业领域，力压谷歌一头。顺便说一下，谷歌的高歌猛进让微软也很焦虑。微软虽然也有一些不错的人工智能产品，比如语音识别，小冰聊天机器人等，但是还不成体系。下面我们看看ChatGPT的成长史
14、，了解它是如何在人工智能技术的竞赛中胜出的？2017年6月，6500万参数的 Transformer2017年6月，谷歌大脑团队（Google Brain）在神经信息处理系统大会（NeurIPS，该会议为机器学习与人工智能领域的顶级学术会议）发表了一篇名为“Attention is all you need”自我注意力是你所需要的全部的论文。作者在获取更多最新资料请加微信：chensasa666文中首次提出了基于自我注意力机制（self-attention）的变换器（transformer）模型，并首次将其用于理解人类的语言，即自然语言处理。在这篇文章发布之前，自然语言处理领域的主流模型是循环
15、神经网络（RNN，recurrent neural network）。循环神经网络模型的优点是，能更好地处理有先后顺序的数据，它被广泛的用于自然语言处理中的语音识别，手写识别，时间序列分析以及机器翻译等领域。但这种模型也有不少缺点：在处理较长序列，例如长文章、书籍时，存在模型不稳定或者模型过早停止有效训练的问题，以及训练模型时间过长的问题。而论文中提出的Transformer模型，能够同时并行进行数据计算和模型训练，训练时长更短，并且训练得出的模型可用语法解释，也就是模型具有可解释性。获取更多最新资料请加微信：chensasa666最初的变换器（Transformer）模型的架构谷歌大脑团队使
16、用了多种公开的语言数据集来训练最初的Transformer模型，一共有6500万个可调参数。获取更多最新资料请加微信：chensasa666经过训练后，这个最初的Transformer模型在包括翻译准确度、英语成分句法分析等各项评分上都达到了业内第一，成为当时最先进的大型语言模型（LargeLanguage Model,LLM），其最常见使用场景就是输入法和机器翻译。Transformer模型自诞生的那一刻起，就深刻地影响了接下来几年人工智能领域的发展轨迹。因为谷歌大脑团队在论文中提供了模型的架构，任何人都可以用其搭建类似架构的模型来并结合自己手上的数据进行训练。于是，Transformer就像其另一个霸气的名字“变形金刚”一样，被更多人研究，并不断地变化。获取更多最新资料请加微信：chensasa666短短的几年里，该模型的影响已经遍布人工智能的各个领域从各种各样的自然语言模型、到预测蛋白质结构的AlphaFold2模型，用的都是它。2018年6月，1.17亿参数的GPT-1GPT的问世，是AI进化的另一个伟大的里程碑。之前的神经网络模型是有监督学习的模型，存在两个缺点：需要大量的标
