ramy  2020-07-31 06:41:28   |   查看评论   
从不到1k的1050 Ti到数万元的Tesla A100显卡,GPU价格的跨度这么大,该从何价位下手?谁才是性价比之王?张量核心、显存带宽、16位能力...参数纷繁复杂,让人头昏眼花。所以此次就要让大家深度了解GPU.
为什么用GPU训练尝试神经网络
1.最重要的参数
 
针对不同深度学习架构,GPU参数的选择优先级是不一样的,总体来说分两条路线:
 
卷积网络和Transformer:张量核心(Tensor Core)>FLOPs(每秒浮点运算次数)>显存带宽>16位浮点计算能力
 
循环神经网络:显存带宽>16位浮点计算能力>张量核心>FLOPs
 
下面总结了一张GPU和TPU的标准性能数据,值越高代表性能越好。RTX系列假定用了16位计算,WordRNN数值是指长度<100的段序列的biLSTM性能。
 
这项基准测试是用PyTorch 1.0.1和CUDA 10完成的。
GPU和TPU的性能数据
▲GPU和TPU的性能数据

2.性价比分析
 
性价比可能是选择一张GPU最重要的考虑指标。在攻略中,进行了如下运算测试各显卡的性能:
 
用语言模型Transformer-XL和BERT进行Transformer性能的基准测试。
 
用最先进的biLSTM进行了单词和字符级RNN的基准测试。
 
上述两种测试是针对Titan Xp、Titan RTX和RTX2080 Ti进行的,对于其他GPU则线性缩放了性能差异。
 
借用了现有的CNN基准测试。
 
用了亚马逊和eBay上显卡的平均售价作为GPU的参考成本。
 
最后,可以得出CNN、RNN和Transformer的归一化性能/成本比值,如下所示:
CNN、RNN和Transformer的每美元性能
▲CNN、RNN和Transformer的每美元性能
 
在上面这张图中,数字越大代表每一美元能买到的性能越强。可以看出, RTX 2060比RTX 2070,RTX2080或RTX 2080 Ti更具成本效益。
 
不过,这种考量方式更偏向于小型GPU,且因为游戏玩家不喜欢RTX系列显卡,导致GTX 10xx系列的显卡售价虚高。此外,还存在一定的单GPU偏差,一台有4个RTX 2080 Ti的计算机比两台带8个RTX 2060的计算机性价比更高。

3.所需显存与16位训练
 
GPU的显存对某些应用至关重要,比如常见的计算机视觉、机器翻译和一部分NLP应用。可能你认为RTX 2070具有成本效益,但需要注意其显存很小,只有8 GB。
 
不过,也有一些补救办法。
 
通过16位训练,你可以拥有几乎16位的显存,相当于将显存翻了一倍,这个方法对RTX 2080和RTX 2080 Ti同样适用。
 
也就是说,16位计算可以节省50%的内存,16位 8GB显存大小与12GB 32位显存大小相当。
     
  
 

除特别注明外,本站所有文章均为原创,转载请注明出处来自GPU选择指南|性价比最高深度学习解决方案要这么选!

留言与评论(共有 0 条评论)
   
验证码: