1、 请仔细阅读本报告末页声明 证券研究报告|行业点评 2023 年 02 月 12 日 计算机 Chatgpt 需要多少算力 ChatGPT：大模型下计算量高速扩张，算力需求陡增。1）以前，人工智能大多是针对特定场景应用进行训练，难以迁移，属于小模型范畴；而ChatGPT 背后的支撑为人工智能大模型，可大幅扩充适用场景、提升研发效率。OpenAI GPT3 自发布以来，在翻译、问答、内容生成等领域均有不俗表现，也吸引了海内外科技巨头纷纷推出超大模型、并持续加大投入。2）在大模型的框架下，每一代 GPT 模型的参数量均高速扩张，GPT-3 参数量已达到 1750 亿个。我们认为，ChatGPT 的
2、快速渗透、落地应用，也将大幅提振算力需求。访问算力：初始投入近十亿美元，单日电费数万美元。1）根据 Similarweb的数据，2023 年 1 月，平均每天约有 1300 万独立访客使用 ChatGPT。访问阶段算力每天发生，其成本成为衡量 ChatGPT 最主要投入的关键指标。2）我们以英伟达 A100 芯片、DGX A100 服务器、现阶段每日 2500万访问量等假设为基础，估算得出：在初始算力投入上，为满足 ChatGPT当前千万级用户的咨询量，投入成本约为 8 亿美元，对应约 4000 台服务器；在单日运行电费上，参考美国平均 0.08 美元/kwh 工业电价，每日电费约为 5 万美
3、元，成本相对高昂。前期训练：公有云下，单次训练约为百万至千万美元。1）模型的前期训练成本也是讨论的重要议题。基于参数数量和 token 数量估算，GPT-3 训练一次的成本约为 140 万美元；对于一些更大的 LLM 模型（如拥有 2800亿参数的 Gopher 和拥有 5400 亿参数的 PaLM），采用同样的计算公式，可得出，训练成本介于 200 万美元至 1200 万美元之间。2）我们认为，在公有云上，对于全球科技大企业而言，百万至千万美元级别的训练成本并不便宜，但尚在可接受范围内。投资标的：服务器：浪潮信息、紫光股份、中科曙光等。芯片：景嘉微、寒武纪、海光信息等。IDC：宝信软件、万国
4、数据、数据港、世纪华通等。光模块等。风险提示：AI 技术迭代不及预期风险、经济下行超预期风险、行业竞争加剧风险。增持（维持）行业走势 作者 分析师 刘高畅 执业证书编号：S0680518090001 邮箱： 分析师 杨然 执业证书编号：S0680518050002 邮箱： 相关研究 1、计算机：微软公布 AI 融合版 Bing，ChatGPT 加速落地2023-02-09 2、计算机：ChatGPT 应用展望2023-02-05 3、计算机：行情演绎的两个方向2023-02-05 -48%-32%-16%0%16%2022-022022-062022-102023-02计算机沪深300获取更多
5、最新资料请加微信：chensasa666 2023 年 02 月 12 日 P.3 请仔细阅读本报告末页声明 ChatGPT：大模型下计算量高速扩张，算力需求陡增 ChatGPT 以大模型为基础，在翻译、问答、内容生成等领域表现不俗。1）ChatGPT 是生成式 AI 的一种形式，Gartner 将其作为2022 年度重要战略技术趋势的第一位。2）根据腾讯研究院研究，当前的人工智能大多是针对特定的场景应用进行训练，生成的模型难以迁移到其他应用，属于“小模型”的范畴。整个过程不仅需要大量的手工调参，还需要给机器喂养海量的标注数据，这拉低了人工智能的研发效率，且成本较高。而ChatGPT 背后的支
6、撑是人工智能大模型。大模型通常是在无标注的大数据集上，采用自监督学习的方法进行训练。之后，在其他场景的应用中，开发者只需要对模型进行微调，或采用少量数据进行二次训练，就可以满足新应用场景的需要。这意味着，对大模型的改进可以让所有的下游小模型受益，大幅提升人工智能的适用场景和研发效率。3）因此大模型成为业界重点投入的方向，OpenAI、谷歌、脸书、微软，国内的百度、阿里、腾讯、华为和智源研究院等纷纷推出超大模型。特别是 OpenAI GPT3 大模型在翻译、问答、内容生成等领域的不俗表现，让业界看到了达成通用人工智能的希望。当前 ChatGPT 的版本为 GPT3.5，是在 GPT3 之上的调优
7、，能力进一步增强。图表 1：Gartner2022 年度重要战略技术趋势 资料来源：腾讯研究院，Gartner，国盛证券研究所 参数量、数据量高度扩张，算力需求陡增。在大模型的框架下，每一代 GPT 模型的参数量均高速扩张；同时，预训练的数据量需求亦快速提升。我们认为，ChatGPT 的快速渗透、落地应用，也将大幅提振算力需求。图表 2：GPT-3 历代模型的参数量及数据量 资料来源：环球网，国盛证券研究所 获取更多最新资料请加微信：chensasa666 2023 年 02 月 12 日 P.4 请仔细阅读本报告末页声明 访问算力：初始投入近十亿美元，单日电费数万美元 Chatgpt 月活过
8、亿，访问量爆发式增长。根据 Similarweb 的数据，2023 年 1 月，平均每天约有 1300 万独立访客使用 ChatGPT，是 2022 年 12 月份的两倍多；累计用户超 1亿，创下了互联网最快破亿应用的记录，超过了之前 TikTok9 个月破亿的速度。访问阶段的算力每天发生，成为衡量 ChatGPT 投入的关键指标。1）计算假设：英伟达 A100：根据 OneFlow 报道，目前，NVIDIA A100 是 AWS 最具成本效益的GPU 选择。英伟达 DGX A100服务器：单机搭载8片A100 GPU，AI算力性能约为5 PetaFLOP/s，单机最大功率约为 6.5kw，售
9、价约为 19.9 万美元/台。图表 3：NVIDIA DGX A100 640GB 参数规格-1 图表 4：NVIDIA DGX A100 640GB 参数规格-2 资料来源：英伟达官网，国盛证券研究所 资料来源：英伟达官网，国盛证券研究所 标准机柜：19 英寸、42U。单个 DGX A100 服务器尺寸约为 6U，则标准机柜可放下约 7 个 DGX A100 服务器。则，单个标准机柜的成本为 140 万美元、56 个 A100GPU、算力性能为 35 PetaFLOP/s、最大功率 45.5kw。2）芯片需求量：每日咨询量：根据 Similarweb 数据，截至 2023 年 1 月底， 网
10、站（即 ChatGPT 官网）在 2023/1/27-2023/2/3 这一周吸引的每日访客数量高达 2500万。假设以目前的稳定状态，每日每用户提问约 10 个问题，则每日约有 2.5 亿次咨询量。A100 运行小时：假设每个问题平均 30 字，单个字在 A100 GPU 上约消耗 350ms，则一天共需消耗 729,167 个 A100 GPU 运行小时。A100 需求量：对应每天需要 729,167/24=30,382 片英伟达 A100 GPU 同时计算，才可满足当前 ChatGPT 的访问量。3）运行成本：初始算力投入：以前述英伟达 DGX A100 为基础，需要 30,382/8=
11、3,798 台服务器，对应 3,798/7=542 个机柜。则，为满足 ChatGPT 当前千万级用户的咨询量，初始算力投入成本约为 542*140=7.59 亿美元。每月电费：用电量而言，542*45.5kw*24h=591,864kwh/日。参考 Hashrate Index获取更多最新资料请加微信：chensasa666 2023 年 02 月 12 日 P.5 请仔细阅读本报告末页声明 统计，我们假设美国平均工业电价约为 0.08 美元/kwh。则，每日电费约为2,369,640*0.08=4.7 万美元/日。图表 5：美国部分州 2021 年及 2022 年平均工业电价对比（Pric
12、e per Mw/h）资料来源：Hashrate Index，国盛证券研究所 前期训练：公有云下，单次训练约为百万至千万美元 模型的前期训练成本也是讨论的重要议题。根据估算，GPT-3 训练成本约为 140 万美元；对于一些更大的 LLM 模型，训练成本约达到 1120 万美元。1）基于参数数量和 token 数量，根据 OneFlow 估算，GPT-3 训练一次的成本约为 139.8万美元：每个 token 的训练成本通常约为 6N（而推理成本约为 2N），其中 N 是 LLM 的参数数量；假设在训练过程中，模型的 FLOPS 利用率为 46.2%，与在 TPU v4 芯片上进行训练的 Pa
13、LM 模型（拥有 5400 亿参数）一致。图表 6：GPT-3 训练成本估算 资料来源：OneFlow，国盛证券研究所 2）对于一些更大的 LLM 模型（如拥有 2800 亿参数的 Gopher 和拥有 5400 亿参数的PaLM），采用同样的计算公式，可得出，训练成本介于 200 万美元至 1200 万美元之间。93847674726868600102030405060708090100GeogiaNew YorkKentuckyNebraskaTexasNorth CarolinaOklahoma Washington20222021获取更多最新资料请加微信：chensasa666 202
14、3 年 02 月 12 日 P.6 请仔细阅读本报告末页声明 图表 7：预估 LLM 在 GCP TPU v4 芯片上的训练成本 GPT-3(OpenAI)Gopher(Google DeepMind)MT-NLG(Microsoft/Nvidia)PaLM(Google Research)Model Parameters 175B 280B 530B 540B FLOPs/Token/Model Parameter 6 TPUs/Machine 4 Peak FLOPS/TPU 275T FLOPS Utilization 46.20%Cost/Machine/Hour(1-year res
15、erved)$8.12 Seconds/Hour 3600 Training Cost/1000 Tokens$0.0047$0.0075$0.0141$0.0144 Train Tokens 300B 300B 270B 780B Training Cost$1,398,072$2,236,915$3,810,744$11,216,529 资料来源：OneFlow，国盛证券研究所 我们认为，在公有云上，对于以谷歌等全球科技大企业而言，百万至千万美元级别的训练成本并不便宜，但尚在可接受范围内、并非昂贵。投资标的 服务器：浪潮信息、紫光股份、中科曙光等。芯片：景嘉微、寒武纪、海光信息等。IDC：宝信软件、万国数据、数据港、世纪华通等。光模块等。风险提示 AI 技术迭代不及预期风险：若 AI 技术迭代不及预期，NLP 技术理解人类意图水平未能取得突破，则对产业链相关公司会造成一定不利影响。经济下行超预期风险：若宏观经济景气度下行，固定资产投资额放缓，影响企业再投资意愿，从而影响消费者消费意愿和产业链生产意愿，对整个行业将会造成不利影响，NLP技术应用落地将会受限。行业竞争加剧风险：若相关企业加快技术迭代和应用布局，整体行业竞争程度加剧，将会对目前行业内企业的增长产生威胁。获取更多最新资料请加微信：chensasa666
