阉割版GPU差距究竟在哪?

2023-10-27 16:45:58 福瑞鑫智能科技

随着ChatGPT引发的大模型热度不断上升,漂亮国对高端GPU的出口管制也持续加码。为了绕开出口管制英伟达陆续推出阉割版GPU:A800是A100的阉割版H800是H100的阉割版

那阉割版GPU,主要在哪些地方动了手脚呢?

A800主要限制了带宽从A100的600GB/s降至400GB/s对算力基本没限制H800对算力和带宽两个方面都做了限制算力方面主要限制双精度计算FP64),以NVLINK版为例34TFLOPS干到1TFLOPSH800的带宽从H100的900GB/s降至400GB/s。

阉割版GPU差距究竟在哪?

GPU之间的带宽对算力影响有多大

过去的一些模型,参数量不大基本没影响随着GPT-3等大型模型的发布,参数规模已经达到1750亿。由于大型模型需要巨大的计算资源,需要使用更多GPU来组合。在使用多个GPU进行训练时,需要在芯片之间传输数据并同步参数信息,如果GPU之间的带宽不足会导致部分GPU处于闲置状态,无法充分发挥工作能力。

结论阉割版对训练参数不大的模型影响不大,在参数超大的场景下可以简单理解成综合性能打了4-6。尽管如此,A800和H800的整体性能仍然超过其他公司的同类产品。

英伟达自2014 年起陆续推出的 NVLink、NVSwitch 等通信协议技术。

NVLink是一种高带宽、低延迟GPU到GPU互连技术。用在 H100 上的第4代 NVLink 可将同一服务器内的 GPU 双向带宽提升至 900 GB/s,是最新一代 PCle协议的7倍多。

NVSwitch用于连接多个GPU服务器包括位于节点内部和外部的交换机。每个节点内的NVSwitch具有64个NVLink链路端口,可以加速多个GPU之间的连接。

阉割版GPU差距究竟在哪?

结合全新的NVLink和NVSwitch技术,构建大型NVLink Switch系统网络,最多支持256个GPU,互连节点能够提供57.6TB的多对多带宽,为高达E级计算提供强大算力。

电话咨询
最新产品
官方商城
QQ客服