针对ChatGPT等大型语言模型的推理，我们宣布推出一款新的Hopper GPU配备双GPU NVLINK的PCIE H100
同时还可支持商用PCIE服务器轻松扩展
目前在云上唯一可以实际处理ChatGPT的GPU是HGX A100与适用于GPT-3处理的HGX A100相比，一台搭载四对H100及双GPU NVLINK的标准服务器的速度
H100可将大型语言模型的处理成本，降低一个数量级
Grace Hopper非常适合处理大型数据集，例如适用于推荐系统和大型语言模型的AI数据库。
如今，利用大容量内存，CPU会存储和查询巨型嵌入表，然后将结果传输到GPU进行推理，借助Grace-Hopper， Grace可以查询嵌入表，并将结果直接传输到Hopper速度比PCIE快7倍
GTC 2023主题直播地址：https://t.elecfans.com/live/2302.html
免责声明：文章内容来自互联网，本站仅提供信息存储空间服务，真实性请自行鉴别，本站不承担任何责任，如有侵权等情况，请与本站联系删除。
转载请注明出处：GTC 2023直播：英伟达推出Hopper GPU，速度比PCIE快7倍 https://www.bxbdf.com/a/1193.shtml