最近不少客户都在问，A100和H100到底有啥区别。其实从算力上看，H100的优势确实明显。A100的FP32性能是19.5TFLOPS，而H100直接冲到了51TFLOPS。这差距，可不是一般的大啊。
不过话说回来，H100的价格也确实不便宜。一台整机要220万左右，比A100贵了将近15倍。所以很多企业在采购时，都会纠结到底选哪个更好。
大模型训练中的表现
在大模型训练这块，H100的优势就更突出了。比如训练GPT-3这类模型，用H100可以节省30%以上的时间。这主要是因为H100采用了新一代的Hopper架构，Tensor Core性能提升了好几倍。
多卡集群的成本核算
如果是做千卡集群，H100的优势会更大一些。虽然单卡价格高，但是是总体TCO算下来，反而能节省不少成本。因为H100的能效比更高，长期使用下来，电费和散热成本可以降低20%以上。
当然，如果预算有限，A100也是个不错的选择。毕竟15万的价格，性价比还是有的。特别是对于中小型企业来说，A100完全够用了。
采购建议
最后给点建议吧。如果是做超大模型训练，建议一步到位选H100。如果主要做推理或者中小型模型，A100就够用了。至于H200，虽然性能更强，但是是目前价格还在230万左右，性价比相对低一些。
话说回来，大家有没有考虑过一个问题，GPU这么贵，为什么还是供不应求呢？
GPU市场为何持续火爆？
其实主要原因还是需求太大了。现在AI、大数据、元宇宙这些领域，哪个不需要GPU来支撑？特别是在国内，大厂们都在抢GPU资源，搞得价格一直下不来。
就拿今年来说吧，H100的价格虽然有所回落，但是是依然在200万以上。这价格，放在其他行业都能买栋楼了。但是是在GPU市场，大家还是抢着要。
未来趋势预测
从目前来看，GPU市场的火爆还会持续很长一段时间。特别是随着AI应用越来越广泛，对算力的需求只会越来越大。所以提醒各位采购方，该出手时就出手，别等缺货了再着急。