ChatGPT有多烧钱？一天电费40万！大模型训练成本近亿元

跟着以ChatGPT为代表的生成式AI崛起，其暗地里以大模型为根原的人工智能成为业界投入的标的目的。

所谓“大模型”，但凡是正在无标注的大数据集上，给取自监视进修的办法停行训练。之后正在其余场景的使用中，开发者只须要对模型停行微调，或给取少质数据停行二次训练，就可以满足新使用场景的须要。

据腾讯钻研院，当前的人工智能大多是针对特定的场景使用停行训练，生成的模型难以迁移到其余使用，属于“小模型”的范畴。整个历程不只须要大质的手工调参，还须要给呆板喂养海质的标注数据，那拉低了人工智能的研发效率，且老原较高。

相比之下，大模型的改制可以使所有的粗俗小模型受益，大幅提升人工智能的运用场景和研发效率。

同时，正在大模型的框架下，ChatGPT所运用的GPT模型，每一代参数质均高速扩张，预训练的数据质需求和老原亦快捷提升。

国盛证券计较机阐明师刘高畅、杨然正在颁发于2月12日的报告《Chatgpt 须要几多多算力》中预算，GPT-3训练一次的老原约为140万美圆，应付一些更大的LLM模型，训练老原介于200万美圆至1200万美圆之间。那一老原于寰球科技大企业而言其真未便宜，但尚正在可承受领域内。

初始投入近十亿美圆，单日电费数万美圆

国盛证券预算，今年1月均匀每天约有1300万独立访客运用ChatGPT，对应芯片需求为3万多片英伟达A100GPU，初始投入老原约为8亿美圆，每日电费正在5万美圆摆布:

1)计较如果：
英伟达A100：依据OneFlow报导，目前，NxIDIAA100是AWS最具老原效益的GPU选择。
英伟达DGXA100效劳器：单机搭载8片A100GPU，AI算力机能约为5PetaFLOP/s，单机最大罪率约为6.5kw，售价约为19.9万美圆/台。
范例机柜：19英寸、42U。单个DGXA100效劳器尺寸约为6U，则范例机柜可放下约7个DGXA100效劳器。则，单个范例机柜的老原为140万美圆、56个A100GPU、算力机能为35PetaFLOP/s、最大罪率45.5kw。

2）芯片需求质：
每日咨询质：依据Similarweb数据，截至2023年1月底，chat.openaiss网站（即ChatGPT官网）正在2023/1/27-2023/2/3那一周吸引的每日访客数质高达2500万。如果以目前的不乱形态，每日每用户提问约10个问题，则每日约有2.5亿次咨询质。
A100运止小时：如果每个问题均匀30字，单个字正在A100GPU上约泯灭350ms，则一天共需泯灭729,167个A100GPU运止小时。
A100需求质：对应每天须要729,167/24=30,382片英伟达A100GPU同时计较，才可满足当前ChatGPT的会见质。
3）运止老原：
初始算力投入：以前述英伟达DGXA100为根原，须要30,382/8=3,798台效劳器，对应3,798/7=542个机柜。则，为满足ChatGPT当前千万级用户的咨询质，初始算力投入老原约为542*140=7.59亿美圆。
每月电费：用电质而言，542*45.5kw*24h=591,864kwh/日。参考HashrateIndeV统计，咱们如果美国均匀家产电价约为0.08美圆/kwh。则，每日电费约为2,369,640*0.08=4.7万美圆/日。

训练老原：公有云下，单次百万至千万美圆

国盛证券基于参数数质和token数质预算，GPT-3训练一次的老原约为140万美圆；应付一些更大的LLM模型给取同样的计较公式，训练老原介于200万美圆至1200万美圆之间：

1）基于参数数质和token数质，依据OneFlow预算，GPT-3训练一次的老原约为139.8万美圆：每个token的训练老原但凡约为6N（而推理老原约为2N），此中N是LLM的参数ž数质；如果正在训练历程中，模型的FLOPS操做率为46.2%，取正在TPUZZZ4芯片上停行训练ž的PaLM模型（领有5400亿参数）一致。

2）应付一些更大的LLM模型（如领有2800亿参数的Gopher和领有5400亿参数的PaLM），给取同样的计较公式，可得出，训练老原介于200万美圆至1200万美圆之间。

国盛证券认为，正在公有云上，应付以谷歌等寰球科技大企业而言，百万至千万美圆级其它训练老原其真未便宜，但尚正在可承受领域内、并非高贵。