人工智能行业点评:ChatGPT对算力的需求究竟如何?-230214
《人工智能行业点评:ChatGPT对算力的需求究竟如何?-230214》由会员分享,可在线阅读,更多相关《人工智能行业点评:ChatGPT对算力的需求究竟如何?-230214(4页珍藏版)》请在启牛文库网上搜索。
1、请务必阅读正文之后的免责声明及其项下所有内容证券研究报告|2023年02月14日超 配1人工智能行业点评ChatGPT 对算力的需求究竟如何?公司研究公司快评 计算机 投资评级:超配(维持评级)证券分析师:熊莉021-执证编码:S0980519030002联系人:黄浩峻0755-事项:2022 年 11 月 30 日人工智能实验室 OpenAI 发布全新聊天机器人模型 ChatGPT,其是一款人工智能技术驱动的自然语言处理工具。自从 ChatGPT 推出以来,受到市场广泛关注,当前每日用户超过 1000 万人。评论:Chatgpt 成本主要可以拆分成训练和推理两个阶段。人工智能主要分为计算机视
2、觉和自然语言处理两大基础方向,当前自然语言处理类任务基于大型语言模型(LLM,Large Language Model)演进出了最主流的两个主要方向,BERT(基于 Transformer 的双向编码器表示技术)和 GPT(基于 Transformer 生成预训练技术),Google 属于 BERT 技术方向,微软投资的 OpenAI 属于 GPT 技术方向。从计算过程上,人工智能计算主要可以分为模型训练与推理两个阶段,针对大语言模型 LLM 更是如此,随着参数与数据规模的不断增大,将带动拉动算力需求的快速增长。“token”是当前语言类模型的数据单位。当前的自回归语言模型是根据 token
3、来作为单位进行数据处理和计算,分词(tokenization)就是将句子、段落、文章这类型的长文本分解为以 token 为单位的数据结构,把文本分词后每个词表示成向量进行模型计算。例如在英文语境下,“happy”可能被分解为“hap”、“-py”两个 token,中文语境下,“我很开心”可以分成“我”,“很”,“开心”三个 token。以英伟达 DGX A1OO 服务器作为计算资源:(1)单台服务器售价 20 万美元;(2)采用云服务单天成本约为 460 美元。根据英伟达官网数据,英伟达超算 GPU 系列从旧到新包括 P100、V100、A100、H100等,其中,DGX A100 系列服务器
4、为 2020 年发布,是当前主流使用的超算服务器,单机有 8 个 A100 系列 GPU,AI 算力性能为 5 PetaFLOP/s,单机最大功率 6.5kw,售价 19.9 万美元;如果租用云服务,根据亚马逊数据显示,在亚马逊 AWS 预定一年的 A100 系列 GPU,有 8 个 A100 的 AWS P4 实例的平均成本约 19.22 美元,一天的平均成本约为 461.28 美元。ChatGPT 上一个 30 字的问题需要消耗计算资源 0.12 PetaFLOP/S。最常见的 Transformer 类语言模型在推理过程中每个 token 的计算成本(以 FLOPs 为指标)约为 2N,
5、其中 N 为模型参数数量(20 年发布的 GPT-3 拥有 1750 亿参数,22 年谷歌发布的 PaLM 拥有 5400 亿参数,由于并未公布当前 GPT3.5 的参数数量,当前假定参数数量为 3000 亿),假设模型的 FLOPS 利用率约为 20%,粗略估计 ChatGPT一个 30 字(假设约 40 个 token,注:在英文语境下,一般 1000 个 token=750 个单词)问题需要的算力资源为 2*40*3000 亿/20%=0.12 PetaFLOP/S。推理成本:为满足当前用户访问产生的推理成本,自建 IDC 初始投入约在 4 亿美元,租用云服务每日成本约 28 万美元。根
6、据 Similarweb 的数据,23 年 1 月份当前 ChatGPT 日活约 1300 万人,每人平均1000 字左右的问题,因此合计产生约 130 亿字(173.3 亿个 token),假设 24 小时平均分配任务,需要的 A100 GPU 数量为 173.3 亿*2*3000 亿/(20%*24 小时*3600 秒)=601.75 PetaFLOP/S,由于访问流量存在峰值,假定访问峰值是一天均值的 5 倍,因此共需要 602 台 DGX A100 服务器能够满足当前的访问量。获取更多最新资料请加微信:chensasa666请务必阅读正文之后的免责声明及其项下所有内容证券研究报告2(1
7、)自建 IDC:服务器成本约占数据中心成本 30%左右,为满足当前日常访问需求,前期一次性成本投入约为 602*19.9/30%=3.99 亿美元;(2)云服务:假设每天租用亚马逊 AWS 云服务,每天成本为 461.28*602=27.77 万美元。训练成本:训练阶段每个 Token 的训练成本约为 6N(推理成本为 2N),由于每年训练成本都在快速下降,此处引用 OneFlow 的测算结果,在公有云中训练 OPEN AI 的 GPT-3 模型需花费训练成本约 140万美元,Google 的 PaLM 模型需花费训练成本约 1120 万美元。预计在 ChatGPT 结合 Bing 搜索功能后
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工智能 行业 点评 ChatGPT 需求 究竟 如何 230214