ChatGPT炒热GPU,ASIC和FPGA能否分一杯羹?

电子发烧友网报道(文/周凯扬)ChatGPT的出现,对于数据中心硬件市场无疑是一针强心剂,不少GPU厂商更是从中受益,从再度兴起的聊天机器人潮流中收获了更多订单。那么对于ChatGPT这类对AI算力有着不小需求的应用来说,ASIC和FPGA是否也能借上这股东风呢?

不同硬件的成本对比

在机器学习推理场景中,除了GPU外,还有一大通用AI硬件适合这一负载,那就是FPGA。与GPU一样,在技术和算法还未成熟且仍在打磨阶段时,可以随时重新编程改变芯片功能的FPGA架构前期硬件成本显著低于GPU。在推理性能上,现如今的FPGA加速卡算力远超CPU,甚至高过不少GPU产品。

而且在ChatGPT这样的聊天机器人应用上,将FPGA用于推理得以发挥其最大的优势,那就是高吞吐量和低时延。更高的吞吐量和更低的时延也就意味着更大的并发,对ChatGPT这种应用来说可以极大增强其响应速度。
ChatGPT炒热GPU,ASIC和FPGA能否分一杯羹?

Alveo V70推理加速卡 / AMD

但随着算法和模型逐渐成熟,FPGA在成本上的优势就慢慢不存在了,在大语言模型上需要用到更多的硬件,而FPGA量产规模的单价成本还是太高了,一旦扩充至成千上万张加速卡,其成本也是不小的。比如AMD推出的新加速卡Alveo V70,据传单卡价格就在2000美元左右。如果我们以INT8精度来衡量算力的话,假设ChatGPT需要28936块A100 GPU,那么改用Alveo V70的话,也需要44693块加速卡。

所以还是有不少人将目光投向了量产规模成本更低的ASIC,比如谷歌就选择用自研的TPU来部署其聊天机器人Bard。ASIC方案在单芯片算力上或许不是最高的,但计算效率却是最高的,而且随着量产化单片成本会逐渐降低。比如谷歌的单个TPU v4 Pod就集成了4096个TPU v4芯片,单芯片的BF16算力达到275TFLOPS,已经相当接近A100单卡峰值算力了。如果只是这样简单换算的话,只需几个TPU v4 Pod,就能满足与ChatGPT同量级的应用了。

不过ASIC方案并没有我们想象得那么美好,首先这类硬件的前期设计成本较大,要想投入数据中心商用,必须组建强大的硬件设计和软件开发团队,这样才能有与GPU相抗衡的性能。其次,因为本身专用硬件的特性,专用于机器学习推理的ASIC方案很难最大化数据中心的硬件利用率,不像GPU还可以同时用于训练、视频编解码等等。

搭建属于自己的ChatGPT的成本有多高

对于GPT-3这样的大型模型来说,要想个人搭建和部署从成本上看肯定不是实惠的选择,所以我们可以选择其他的模型,比如Meta推出的1750亿参数OPT-175B模型。加州大学伯克利分校的Sky Lab就借助该模型推出了一个开源系统Alpa,同时具备聊天机器人、翻译、代码编写和数学计算的功能。

要想部署OPT-175B模型并搭建Alpa这样的文字聊天应用,对GPU的要求要远远小于ChatGPT。但这是建立在其本身响应速度和功能特性就显著弱于ChatGPT的情况下,比如一旦设定的回答长度过长,就需要等上数十秒,何况它列出的GPU需求也不算小。

根据Alpa的官方说明,虽然不需要用到最新一代的A100 80GB这样价格高昂的GPU或是InfiniBand这样先进的互联方案,但对显存的最低要求也已经达到了350GB。所以Alpa给的建议是使用32个英伟达Tesla V100 GPU,从而提供512GB的显存,这样硬件造价在50万到150万之间。
ChatGPT炒热GPU,ASIC和FPGA能否分一杯羹?

Tesla V100 GPU / 英伟达

如果你只是想开展聊天机器人的服务,而不是自己买硬件的话,也可以选择各大公有云服务厂商的方案,比如亚马逊AWS的EC2 P3系列,就是专为机器学习和HPC准备的实例。每个EC2 P3.16xlarge实例上有8块Tesla V100 GPU,所以至少租赁4个实例就能运行Alpa了。

不过这样一来服务器的费用也并不算便宜,单个实例按需付费每小时的花费在24.48美元左右,也就是说如果要全天运行的话,运行Alpa的成本为2400美元一天。哪怕云服务厂商通常都会给到长期承诺使用的折扣,这也是一笔不小的支出。

谷歌推出的Cloud TPU方案也是如此,如果真的打算以租赁服务器的方式来打造ChatGPT,那么谷歌目前给出的按需定价是每芯片小时价格3.22美元。要想部署数万规模的TPU v4芯片媲美ChatGPT,那么一定逃不掉超高的费用。

结语

不久前我们已经提到了ChatGPT的加入或许会给微软的现有产品带来定价的提升,如今这个猜测也已经成真。微软近日宣布,从今年5月1日开始,微软Bing搜索API的定价将会直线飙升,其中超大并发(每秒250次处理)的S1实例定价从每千次处理7美元提升至25美元,而额外的Bing统计更是从每千次处理1美元的价格拔高至10美元。如此看来,可见大语言模型的推理成本有多高可见一斑了,哪怕是微软也经不起这样烧钱。

所以对于ChatGPT这种应用,其运营者不同,对待硬件成本的看法也会不同,比如微软、谷歌之类已经拥有大规模服务器硬件的厂商,必然会利用现有GPU资源的同时,考虑如何用定制化的ASIC进一步节省成本。而体量较小的运营者,例如聊天机器人应用开发商、研究机构等,还是会选择租赁服务器或小规模本地部署,其首选硬件也会是GPU。

再说回FPGA,虽然从目前数据中心的市场现状来看,FPGA的AI推理加速卡仍处于一个弱势的位置。但随着AMD开始推出Alveo V70这样全新XDNA架构的方案,或许能给未来需要更大吞吐量的模型提供新的出路,尤其是视频分析推理应用。

免责声明:文章内容来自互联网,本站仅提供信息存储空间服务,真实性请自行鉴别,本站不承担任何责任,如有侵权等情况,请与本站联系删除。
转载请注明出处:ChatGPT炒热GPU,ASIC和FPGA能否分一杯羹? https://www.bxbdf.com/a/3122.shtml

上一篇 2023-04-17 08:13:50
下一篇 2023-04-17 08:16:31

猜你喜欢

联系我们

在线咨询: QQ交谈

邮件:362039258#qq.com(把#换成@)

工作时间:周一至周五,10:30-16:30,节假日休息。