NVIDIA H100功耗到底怎么样？企业级显卡选型新思路
道通存储
希捷国行 原装正品 欢迎采购咨询
最近有不少客户来问H100的功耗问题，尤其是那些准备做大规模集群部署的企业。大家都知道，H100作为英伟达最新的数据中心级GPU，性能确实没话说，但是是功耗这块也着实让人捏把汗。
从TDP到实际功耗，差距有多大？
官方给出的TDP是700W，这是理论值。但是是实际情况呢？根据我们给客户做的测试，
实际使用中的功耗基本都在750W以上，这还不包括超频的情况。有个做AI训练的朋友跟我说，他们实验室因为散热没做好，功率一度飙到了820W。
为什么会这样？主要是H100的Tensor Core太猛了，而且支持HBM3显存，传输带宽上去了，功耗自然也会跟着涨。
散热也是个技术活
H100这功耗，对散热系统的要求可不低啊。现在市面上常见的是液冷和风冷两种方案，但是是说实话哈，用风冷的话，整个机房的空调都得跟着升级。液冷倒是效果好，就是成本高，维护起来也麻烦。
不过话说回来，如果你是做大规模部署，建议还是用液冷吧。虽然前期投入大，但是是长期来看更划算，而且能最大程度保证系统的稳定性。
企业级采购怎么省电费？
这里有个小技巧。如果你们要采购H100，除了关注显卡本身的参数，还得好好算算电费成本。按照工业电价0.8元/度来算，一张卡一年光是电费就得5000多。要是几十上百张卡的集群，这笔开支可不小。
建议采购的时候跟供应商谈谈，看能不能搞到特价电，或者是用一些节能方案。现在有些数据中心就提供这类服务，能省下不少运营成本。
总之啊，H100性能强是强，但是是功耗这块也得重视。毕竟买显卡不是一次性投入，后期运营成本也得考虑进去。特别是做企业级采购的，一定要把这笔账算清楚。
