05华东政法大学:ChatGPT的进展、风险与应对
《05华东政法大学:ChatGPT的进展、风险与应对》由会员分享,可在线阅读,更多相关《05华东政法大学:ChatGPT的进展、风险与应对(55页珍藏版)》请在启牛文库网上搜索。
1、人工智能通用大模型(ChatGPT)的进展、风险与应对发布单位:华东政法大学政治学研究院华东政法大学人工智能与大数据指数研究院华东政法大学政治学研究院01通用大模型的近期进展目录03通用大模型的治理风险评估04 通用大模型的风险应对策略02各国通用大模型的能力比较华东政法大学政治学研究院通用大模型的近期进展01华东政法大学政治学研究院1通用大模型的近期进展1 通用大模型的近期进展大模型的内涵与特征大模型的发展历程运行机制三大特征预训练模型的发展历程多模态预训练模型“大模型”和“小模型”协进平台化与简易化并进通用化与专用化并行大模型的发展趋势44544/55华东政法大学政治学研究院大模型的内涵与
2、特征1.1大模型是指容量较大,用于深度学习任务的模型,通常具有海量的参数和复杂的架构。大模型具有更好的通用性、精度和效率,可以通过预训练或其他方式在大型数据集上进行学习,再通过微调高效地处理计算机视觉、自然语言处理等复杂任务。预训练模型的运行机制1 通用大模型的近期进展Transformer(主要)、GAN、CNN 以 及 RNN等架构通过海量数据进行预训练(通才)微调以应用不同场景(专家)解决各种复杂任务55545/55华东政法大学政治学研究院大模型的内涵与特征1.11 通用大模型的近期进展涌现性扩展性复合性强化技术的融合解决传统AI的问题增强AI的能力有效集成自然语言处理等多个人工智能核心
3、研究领域的多项技术,实现1+12的融合式涌现。大模型能够有效支撑智能终端、平台、系统等产品应用落地,解决壁垒多、部署难等问题。在海量通用数据上预训练以具备多种基础能力,摆脱传统人工智能能力碎片化、作坊式开发的局限。66546/55华东政法大学政治学研究院大模型的发展历程1.21 通用大模型的近期进展单语言预训练模型多语言预训练模型多模态预训练模型能够处理自然语言,源于早期的词嵌入(wordembedding)的工作。具备多样化的基础语言能力,开始分别处理多种自然语言任务,如机器翻译、问答系统、情感分析等。以多语言训练模型为核心,进行文字、图片、视频的同步转化,实现处理多任务的目标。77547/
4、55华东政法大学政治学研究院多模态预训练模型视觉文本语音理解式任务生成式任务1.2 大模型的发展历程1 通用大模型的近期进展多模态预训练模型:人工智能如何理解世界?处理多任务应用领域进展医疗深度多任务学习能够应用于医学影像分析中金融同一海量数据的多任务处理工业Multi-Task经典模型结构;全空间多任务模型ESMM教育多模态与多任务预训练模型的结合应用8/55华东政法大学政治学研究院1 通用大模型的近期进展发展趋势:“大模型”和“小模型”协进1.算力要求过高2.显存占用过大1.推理增速有限2.训练时长增加1.经济成本激增2.能源消耗剧增模型量化模型剪枝知识蒸馏减少信息泄露风险降低运行碳排放量
5、参数共享低秩分解增强模型抗攻击性大模型的限度模型压缩技术小模型的好处1.39/55华东政法大学政治学研究院1 通用大模型的近期进展发展趋势:“大模型”和“小模型”协进大模型小模型借助知识蒸馏等技术,大模型的能力可以传给小模型改进知识蒸馏等技术,大模型一次可以产出多个小模型利用小模型作为 Teacher,可以帮助大模型快速收敛如何实现大模型和小模型的联动和互助作为样本价值判断模型,小模型可以帮助大模型快速学习1.310/55华东政法大学政治学研究院1 通用大模型的近期进展发展趋势:通用化与专用化并行表征学习单模态多模态迁移学习多任务处理多模态编码统一模型框架1.从算法只能处理一种模态到可以处理多
6、种模态2.从算法仅能基于一种模态学习并只能应用于该模态到可以学习并应用于多种模态1.311/55华东政法大学政治学研究院1 通用大模型的近期进展发展趋势:通用化与专用化并行 统一架构:使用统一的模型架构,并采用相同的学习模式 统一模态:构建可以适用于多种模态的通用词表 统一任务:将所有任务统一成序列到序列任务通用预训练专用领域预训练业务场景应用应用需求基础框架技术落地反哺技术1.312/55华东政法大学政治学研究院1 通用大模型的近期进展发展趋势:平台化与简易化并进模型开发场景适配推理部署全能、简易开发服务平台开发工具微调工具部署工具大模型和小模型无缝联动能力自适应分布式推理能力自动化压缩能力
7、加密部署能力便捷微调能力低参数调优能力数据增强和清洗能力并行计算能力存储优化能力自适应分布式训练能力弹性容错训练能力1.313/55华东政法大学政治学研究院各国通用大模型的能力比较02华东政法大学政治学研究院2各国通用大模型的能力比较2 各国通用大模型的能力比较美国目前通用大模型的发展现状中国对大模型相关领域的布局情况其他国家大模型技术的发展情况发展差距为何中美之间会存在如此差距?制度环境技术配套原创能力引言:各国通用大模型的技术进展15/55华东政法大学政治学研究院 ChatGPT(GPT,Generative Pre-trained Transformer,生成预训练转换器)的出现反映出了
8、人工智能发展的新趋势,即AI正在从感知智能向认知智能快速发展。美国作为人工智能发展领域的前沿国家,其拥有一系列具备充足技术和资金资源的公司和实验室,如谷歌、微软、OpenAI等。中国作为人工智能领域发展的重要参与者,中国正在加快其在通用大模型领域的投资与研究。例如,百度、腾讯、阿里、科大讯飞等大型科技公司正在加速开发该领域的技术。2引言:各国通用大模型的技术进展2 各国通用大模型的能力比较16/55华东政法大学政治学研究院 美国目前的科技巨头公司,如谷歌、微软、亚马逊、Meta等都在通用大模型上进行了进一步的布局与投资。Stability AI等AI初创公司同样表示将积极布局AIGC、Chat
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 05 华东政法 大学 ChatGPT 进展 风险 应对