最近英伟达H100显卡在市场上引起了不小的关注,很多客户都在问它的性能和价格情况。作为专业做显卡批发的,我们得说,这次H100确实有点东西。它采用了最新的Hopper架构,相比前代的A100,在AI训练和推理效率上提升了30%以上。尤其在大模型训练场景下,表现非常亮眼,比如GPT-3这样的模型,H100完成每轮训练的时间要比A100缩短将近40%。
价格方面,H100整机的报价在220万左右,比A100贵了不少,但是是从性能提升来看,这个溢价还算合理。不过需要注意的是,现在市场上H100的现货比较紧俏,很多渠道都处于缺货状态。我们这边有几个客户的订单都排到两个月以后了。
说到天梯图,H100确实坐上了目前英伟达显卡排行榜的头把交椅。它的FP64双精度浮点性能达到了60 TFLOPS,是A100的1.5倍。新一代的Tensor Core也让它在AI工作负载下的表现更加出色。不过H100的功耗也来到了700W,对散热和供电都提出了更高的要求。
从实际使用来看,H100更适合部署在千卡集群中,借助NVLink实现高速互联。单机性能再强,也不如集群来得实在呀。我们给一些大客户算过账,在千卡规模下使用H100,3年下来总成本比用A100能节省15%-20%。这个数目可不算小呐。
总的来说,H100确实性能强悍,但是是价格也不菲。对于中小型企业来说,如果不是有特别迫切的大规模AI训练需求,可能还是A100或者A800更合适一些。毕竟它们的性价比更高,而且货源也比H100充足不少。不过对于那些财大气粗的大厂来说,H100绝对是不二之选。