1、2023年2月16日半导体行业专题ChatGPT对GPU算力的需求测算与相关分析中信证券研究部 雷俊成/王子源/徐涛/杨泽原获取更多最新资料请加微信：chensasa6661核心观点：单个大模型可带来2万GPU销售量，搜索引擎带来成倍空间核心观点：1.短期内GPU增量与市场规模：参考OpenAI算法，假设每日1亿用户，每人进行10条交互，每个问题的回答长度为50词，算力利用率30%，则单个大语言模型（LLM）的日常需求有望带来2.13万片A100的增量，对应市场规模2.13亿美元。假设有5家大企业推出此类LLM，则总增量为10.7片A100，对应市场规模10.7亿美元。2.短期服务器增量与市场
2、规模：单个服务器包含8个GPU，因此单个LLM带来2669台服务器需求，对应市场规模3.39亿美元，5家大企业共需要13345台，对应市场规模20亿美元。3.长期市场空间：参考谷歌，若每日搜访问30亿次，需要106.74万张A100，对应13.3万台服务器DGX A100，带来市场空间200亿美元。资料来源：Raconteur，OpenAI：Language Models are Few-Shot Learners，NVIDIA官网，Amazon，中信证券研究部市场规模相关参数/假设A100单卡算力：19.5TFLOPS/s日常算力利用率：30%（依据经验）GPU单价：1万美元（A100）服务
3、器单价：15万美元（DGX Station A100）做LLM模型的企业数量：5（BAT、华为、字节）每台服务器搭载GPU数量：81亿用户所需GPU数量：21348（A100）近期单日交互+训练总算力1.08E+10TFLOPSA100单卡算力19.5T/s算力利用率30%关键中间变量：GPU与服务器增量一个LLM模型所需GPU数量：21348（A100）1亿用户所需服务器数量：2669（DGX A100）每台服务器搭载GPU数量：85家企业对应10.7万片A100、1.33万台服务器短期国内GPU/服务器增量市场规模一个LLM模型所需GPU数量：21348（A100）GPU单价：1万美元（A
4、100）1亿用户带来国内GPU总市场规模：2.13亿美元一个LLM所需服务器数量：2669服务器单价：15万美元（A100）1亿用户带来国内服务器市场规模：3.39亿美元远期GPU增量空间谷歌+LLM所需GPU数量：1067415（A100）远期总算力需求：5.4 E+11 TFLOPSA100单卡算力：19.5TFLOPS/s算力利用率：30%5家企业对应10.7亿美元GPU、20亿美元服务器谷歌+LLM所需服务器数量：133427（GPU/8）注：远期由于更高算力的GPU出现或更高效的计算方式，对应市场空间可能变化。获取更多最新资料请加微信：chensasa6662核心观点技术差距：GPG
5、PU的核心壁垒是高精度浮点计算及CUDA生态。从高精度浮点计算能力来看，国内GPU产品与国外产品的计算性能仍或有一代以上差距；在软件和生态层面与英伟达CUDA生态的差距则更为明显。AI计算GPU领域，国内壁仞科技发布的BR100产品在FP32单精度计算性能上实现超越NVIDIA A100芯片，但是不支持FP64双精度计算；天数智芯推出的天垓100的FP32单精度计算性能实现超越A100芯片，但是在INT8整数计算性能方面却低于A100；海光推出的DCU实现了FP64双精度浮点计算，但是其性能为A100的60%左右，大概相当于其4年前水平。因此，从高精度浮点计算能力来看，国内GPU产品与国外产品
6、的计算性能仍或有一代以上差距。但是，GPU不仅在硬件上需要提升算力，软件层面对于GPU的应用和生态布局尤其重要，英伟达凭借CUDA构建生态壁垒占领全球GPU市场90%的份额。目前国内企业多采用开源的OpenCL进行自主生态建设，但这需要大量的时间进行布局；我们对比AMD从2013年开始建设GPU生态，近10年时间后用于通用计算的ROCm开放式软件平台才逐步有影响力，且还是在兼容CUDA的基础上。因此我们认为国内厂商在软件和生态层面与英伟达CUDA生态的差距较计算性能更为明显。虽然目前国内产品的计算性能和软件生态实力与国际厂商还有差距，但是，国内厂商依然在奋起直追，努力实现GPGPU的国产化突破
7、。我们认为长久来看，美国对中国高端GPU的禁售令反而给国产GPGPU和AI芯片厂商带来快速发展的机会。短期来看，我们认为对高端通用计算GPU的禁令可能会影响英伟达和AMD的GPU产品在中国的销售，中国AI计算、超级计算和云计算产业进步受到一定的阻碍。可使用英伟达和AMD还没有被禁止的及国产厂商的中高计算性能CPU、GPU、ASIC芯片等替代。长期来看，国产CPU、GPU、AI芯片厂商受益于庞大的国内市场，叠加国内信创市场带来国产化需求增量，我们预期国内AI芯片的国产化比例将显著提升，借此机会进行产品升级，逐渐达到国际先进水平，突破封锁。对于国内厂商，建议重点关注实现自主创新，打造自主生态体系，
8、打磨产品实现稳定供货的公司。重点关注能够实现GPU领域的自主创新，实现架构、计算核、指令集及基础软件栈的全自研的设计公司。同时，不止成功点亮，要能满足测试、客户适配、稳定供货等一系列要求，成功量产并实现规模应用，实现GPGPU的国产替代。建议关注：国内企业：1）芯片：龙芯中科（国内PC CPU龙头，自主研发GPGPU产品）、海光信息（国内服务器CPU龙头，推出深度计算处理器DCU）、景嘉微（国内图形渲染GPU龙头）、寒武纪（国内ASIC芯片龙头）、澜起科技（国内服务器内存接口芯片龙头）；2）PCB：胜宏科技、兴森科技、沪电股份；3）先进封装：通富微电、甬矽电子、长电科技、长川科技等。海外企业：
9、英伟达（全球GPU龙头）、AMD（全球CPU/GPU领先厂商）、英特尔（全球CPU龙头）、美光（全球存储芯片龙头）。风险因素：用户拓展不及预期风险，AI技术及新产品开发发展不及预期风险，外部制裁加剧风险，宏观经济需求下行风险。获取更多最新资料请加微信：chensasa6663ChatGPT相关上市公司及近期涨跌幅（截至2023年2月14日）相关上市公司分类公司名代码市值（亿元人民币）ChatGPT 2022年11月30日上线至今涨跌幅2023年初至今涨跌幅CPU龙芯中科688047.SH488.7849%43%海光信息688041.SH1,235.8528%33%中科曙光603019.SH42
10、5.8824%31%英特尔INTC.O8,049.41-4%9%AMDAMD.O9,134.637%28%GPU景嘉微300474.SZ381.5145%54%英伟达NVDA.O36,527.9029%49%AI芯片寒武纪-U688256.SH342.6235%57%澜起科技688008.SH713.46-7%0%MobileyeMBLY.O2,343.4450%22%FPGA紫光国微002049.SZ1,032.70-8%-8%复旦微电688385.SH443.24-9%-1%安路科技-U688107.SH283.4313%10%DPU左江科技300799.SZ136.254%2%IP芯原股
11、份-U688521.SH308.6630%41%AI SoC瑞芯微603893.SH368.6214%28%晶晨股份688099.SH348.4112%20%富瀚微300613.SZ152.0618%32%PCB兴森科技002436.SZ205.111%25%胜宏科技300476.SZ155.6328%39%生益电子688183.SH94.0011%21%沪电股份002463.SZ294.9323%31%先进封装长电科技600584.SH513.5815%25%通富微电002156.SZ334.5828%34%甬矽电子688362.SH112.76-1%27%华峰测控688200.SH276.
12、3223%10%长川科技300604.SZ289.65-17%8%存储美光MU.O4,470.815%20%资料来源：Wind，中信证券研究部获取更多最新资料请加微信：chensasa666目录CONTENTS41.ChatGPT是什么OpenAI开发的聊天机器人，拥有创造能力2.GPGPU是什么3.GPGPU的壁垒是什么4.GPGPU主要应用场景5.国内GPGPU发展水平获取更多最新资料请加微信：chensasa6665不同于分析式AI只能做些分析型或机械式的认知计算，生成式AI可以创造有意义并具备美感的东西，而且在某些情况下，其生成的结果可能比人类手工创造的还要好。机器可以分析数据，并针对
13、不同用例需求找到相应的规律，且在不断迭代，变得越来越聪明，这种机器被称为“分析式人工智能”（Analytical AI），或者传统AI。机器并非如之前那样仅分析已有的数据，而是创造了全新的东西，这一新型的AI被称为“生成式人工智能”（Generative AI）。2017年谷歌推出一种用于自然语言理解的新型神经网络架构Transformers模型，不但能生成质量上乘的语言模型，同时具有更高的可并行性，大大降低了所需的训练时间。这些小样本学习模型，可以更容易地针对特定领域做定制修改。2015-2020年，用于训练这些模型的计算量增加了6个数量级，其表现在手写、语音和图像识别、阅读理解和语言理解方
14、面超过了人类的基准水平。资料来源：机器学习三个时代的计算趋势Sevilla等人，arXiv，2022，生成式AI：充满创造力的新世界红杉汇内参微信公众号资料来源：生成式AI：充满创造力的新世界红杉汇内参微信公众号随着AI模型逐渐发展壮大，已经开始超越人类的基准水平生成式AI的应用格局1.1 生成式AI：实现创造，部分领域的能力超越人类的基准水平获取更多最新资料请加微信：chensasa6666预训练模型使得模型的训练可以被复用，大幅降低训练成本，但是前期需要大量的数据进行预训练。预训练模型是一种迁移学习的应用，对句子每一个成员的上下文进行相关的表示，通过隐式的方式完成了语法语义知识的学习。预训
15、练模型通过微调的方式具备很强的扩展性，每次扩展到新场景时，只需要针对这个场景的特定标注数据进行定向的学习，便可以快速应用。2018年以来，国内外超大规模预训练模型参数指标不断创出新高，“大模型”已成为行业巨头发力的一个方向。谷歌、百度、微软等国内外科技巨头纷纷投入大量人力、财力，相继推出各自的巨量模型。国外厂商自2021年开始进入“军备竞赛”阶段。2018年，谷歌提出3亿参数BERT模型，大规模预训练模型开始逐渐走进人们的视野，成为人工智能领域的一大焦点。2019年，OpenAI推出15亿参数的GPT-2，能够生成连贯的文本段落，做到初步的阅读理解、机器翻译等。紧接着，英伟达推出83亿参数的M
16、egatron-LM，谷歌推出110亿参数的T5，微软推出170亿参数的图灵Turing-NLG。2020年，OpenAI以1750亿参数的GPT-3，直接将参数规模提高到千亿级别。2021 年 1 月，谷歌推出的Switch Transformer模型以高达1.6 万亿的参数量打破了GPT-3作为最大AI模型的统治地位，成为史上首个万亿级语言模型。2020年10月，微软和英伟达联手发布了5300亿参数的Megatron-Turing自然语言生成模型（MT-NLG）。2021年12月，谷歌还提出了1.2万亿参数的通用稀疏语言模型GLaM，在7项小样本学习领域的性能超过GPT-3。资料来源：Xavier Amatriain，陈巍谈芯知乎资料来源：Large Language Models:A New Moores Law?Julien SimonHugging Face2018年以来LLM算法（大规模语言算法）成长的时间线近年来超大规模预训练模型参数增长趋势1.2 预训练模型：大模型提高准确率，2018年开始步入快车道获取更多最新资料请加微信：chensasa6667ChatGPT（Ch
