首页 行业报告下载文章正文

AI算力行业研究报告:智算供给格局(25页)

行业报告下载 2024年01月12日 07:40 管理员

大模型的训练效果、成本和时间与算力资源有密切 的关系。大模型发展浪潮有望进一步增加 AI 行业对智 算算力的需求规模。 1.1.1 国外大模型的发展  大模型数量加速增长,算力成为模型竞赛底座。自 2018 年以来,海外云厂商巨头接连发布 NLP 大模型。 据赛迪顾问 2023 年 7 月发布的数据显示,海外大模型 发布数量逐年上升,年发布数量在五年中由 2 个增长至 48 个。且仅 2023 年 1-7 月就发布了 31 个大模型。 自 2021 年起,海外大模型数量呈现加速增长的趋 势,结合 2023 年 1-7 月的情况,该趋势有望延续。2018 年 6 月, OpenAI 发布了 Transformer 模型 ——GPT-1,训练参数量 1.2 亿。同年 10 月,谷歌发布 了大规模预训练语言模型 BERT,参数量超过 3 亿。 2019 年,OpenAI 推出 15 亿参数的 GPT-2。2019 年 9 月,英伟达推出了 83 亿参数的 Megatron-LM。同 年,谷歌推出了 110 亿参数的 T5,微软推出了 170 亿 参数的图灵 Turing-NLG。 2020 年,OpenAI 推出了大语言训练模型 GPT-3, 参数达到 1750 亿。微软和英伟达在同年 10 月联合发 布了 5300 亿参数的 Megatron-Turing 大模型。 2021 年 1 月,谷歌推出 Switch Transformer 模型, 参数量达到 1.6 万亿,大模型参数量首次突破万亿。 2022 年,OpenAI 推出基于 GPT-3.5 大模型的 ChatGPT,宣告了 GPT-3.5 版本的存在。 2023 年,OpenAI 推出 GPT-4,估计参数规模达到 1.8 万亿。GPU 数量与不同量级大模型所需的算力之间的线 性关系。根据 2021 年 8 月 Deepak Narayanan 等人发布 的论文,随着模型参数增加,大模型训练需要的总浮点 数与 GPU 数量呈现正相关的线性关系。175B 参数量级 的大模型所需的 A100 级别芯片数量为 1024 片(Token 数为 300B,训练 34 天情况下)。当参数增长到 1T 时, 大模型训练所需的 A100 芯片数量为 3072 片(Token 数 为 450B,训练 84 天情况下)。

AI算力行业研究报告:智算供给格局(25页)

文件下载
资源名称:AI算力行业研究报告:智算供给格局(25页)


标签: 人工智能AI行业报告

并购家 关于我们   意见反馈   免责声明 网站地图 京ICP备12009579号-9