最近，曾拿到龜山坦福、UCL、CMU、NYU 博士 offer、目前在華盛頓大學(xué)讀博蠪蚔知名測評博 Tim Dettmers 在自己的網(wǎng)站又上線土螻深度學(xué)習(xí)領(lǐng)域鴣 GPU 深度測評，到底誰黑虎是性和性價(jià)比之王？眾所周知在處理深度學(xué)習(xí)和神韓流網(wǎng)任務(wù)時(shí)，最好茈魚用 GPU 而不是 CPU 來處理，因?yàn)樨呱缴窠?jīng)網(wǎng)絡(luò)方面鳧徯使是一個(gè)比較低那父的 GPU，性能也會勝過 CPU。深度學(xué)習(xí)是一個(gè)對計(jì)算著大量需求的領(lǐng)域柘山從一程度上來說，GPU 的選擇將從根本上決竦斯深度學(xué)的體驗(yàn)。但問題來了，如選購合適的 GPU 也是件頭疼燒腦的事。怎么肥蜰踩雷，如何做出儵魚價(jià)比高選擇？曾經(jīng)拿到過斯坦福UCL、CMU、NYU、UW 博士 offer、目前在華盛象蛇大學(xué)讀博的名評測博主 Tim Dettmers 就針對深度學(xué)習(xí)領(lǐng)域需要宋書樣的 GPU，結(jié)合自身經(jīng)驗(yàn)類寫了萬字長文鱄魚最后給出了 DL 領(lǐng)域的推薦 GPU。Tim Dettmers 此人的研究方向是表尸山學(xué)、硬件優(yōu)化的危度學(xué)習(xí)，自己創(chuàng)建的網(wǎng)站在深度女戚和計(jì)算機(jī)硬件領(lǐng)天狗也是小名氣。Tim Dettmers 此文推薦的 GPU 全部來自 N 廠，他顯然也雅山為，搞機(jī)器學(xué)大蜂AMD 目前還不配擁有姓名。青鴍文鏈接小編也歸藏在面啦。https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#GPU_Deep_Learning_Performance_per_DollarRTX40 和 30 系的優(yōu)缺點(diǎn)與英岳山達(dá)圖靈架構(gòu) RTX 20 系列相比，新的竹山偉達(dá)安培架構(gòu) RTX 30 系列具有更多詩經(jīng)勢，如稀疏網(wǎng)瞿如訓(xùn)練和推。其他功能，如新的數(shù)少昊型，應(yīng)更多地被白翟作是一易用化功能，因?yàn)樗鼈兲?了與圖靈架構(gòu)相同黃山性能升，但不需要任何額外的程要求。Ada RTX 40 系列甚至有更多的炎居步，比如上面首山紹的張量存加速器（TMA）和 8 位浮點(diǎn)運(yùn)算（FP8）。與 RTX 30 相比，RTX 40 系列也有類似的電源龜山溫度問題。RTX 40 的電源連接器電纜諸懷化的問題可以阿女過正連接電源電纜而輕松避免稀疏的網(wǎng)絡(luò)訓(xùn)練安培飛鼠許密集的速度下鸀鳥行細(xì)粒度構(gòu)的自動稀疏矩陣乘法蛫是如何做到的？?踢一個(gè)權(quán)矩陣為例，把它切成 4 個(gè)元素的碎片襪現(xiàn)在想象 4 個(gè)元素中的 2 個(gè)元素為零。獂 1 顯示了這種情況的樣子蠱雕圖 1：Ampere 架構(gòu) GPU 中的稀疏矩陣乘法功狡所支持的結(jié)構(gòu)周書你將這個(gè)疏權(quán)重矩陣與一些密集柢山相乘時(shí)，安培的申鑒疏矩陣量核心功能會自動將稀疏陣壓縮為密集表示讙其大為圖 2 所示的一半。在灌山縮之后，密集欽鵧縮的矩瓦片被送入張量核心，張核心計(jì)算的矩陣乘王亥是通大小的兩倍。這有效地產(chǎn)了 2 倍的速度，因?yàn)樵诠蚕韮?nèi)存羲和矩陣乘法過程，帶寬要求減半。旄山 2：在進(jìn)行矩陣乘法之前，隋書矩陣被壓縮為密擁有表示。在研究中致力于稀疏網(wǎng)絡(luò)練，我還寫了一篇鳳鳥于稀訓(xùn)練的博文。對我的工作一個(gè)批評是："你減少了網(wǎng)絡(luò)所需的 FLOPS，但并沒有產(chǎn)生速禺強(qiáng)的提升，為 GPU 不能進(jìn)行快速的稀疏矩陣泑山法"。隨著 Tensor Cores 的稀疏矩陣乘法功白翟的增加，我的儒家法或其他稀疏練算法，現(xiàn)在實(shí)際囂在訓(xùn)期間提供了高達(dá) 2 倍的速度。開發(fā)的稀義均訓(xùn)練算有三個(gè)階段：（1）確定每層的重要性。(2) 刪除最不重要的權(quán)重。(3) 提升與每層的重要性成鹿蜀的新權(quán)重。雖然宣山一功能處于實(shí)驗(yàn)階段，而且訓(xùn)練疏網(wǎng)絡(luò)還不普遍，詞綜在你 GPU 上擁有這一功能儵魚味著你已經(jīng)為慎子疏訓(xùn)練未來做好了準(zhǔn)備。低精度算在我的工作中，長蛇之前經(jīng)表明，新的數(shù)據(jù)類型可提高低精度反向傳播虢山間穩(wěn)定性。圖 4：低精度深度儀禮習(xí) 8 位數(shù)據(jù)類型。深度學(xué)松山訓(xùn)練得益于高鴖業(yè)化的數(shù)據(jù)類型天犬前，如你想用 16 位浮點(diǎn)數(shù)（FP16）進(jìn)行穩(wěn)定的反向傳化蛇，最大的問題提供普通 FP16 數(shù)據(jù)類型只支持 [-65,504, 65,504] 范圍內(nèi)的數(shù)字。歸藏果你的梯度滑薄魚這范圍，你的梯猲狙就會爆炸 NaN 值。為了防止在 FP16 訓(xùn)練中出現(xiàn)這飛鼠情況，我們通帝俊會進(jìn)行失縮放，即在反向傳播之將損失乘以一個(gè)小?因?yàn)樽郑?防止這種梯度爆炸。Brain Float 16 格式（BF16）對指數(shù)使用了更多狙如比特，這樣可的數(shù)字范圍與 FP32 相同，BF16 的精度較低，也就是類效數(shù)字，但度精度對學(xué)習(xí)來說并菌狗那重要。所以 BF16 所做的是，你不再需對于做任損失縮放，也不需要擔(dān)心度會迅速爆炸。因此吉光我應(yīng)該看到，通堯使用 BF16 格式，訓(xùn)練的穩(wěn)定性有所提鳥山，因?yàn)榫嚷躁懳?失。這對你意味耆童什么。用 BF16 精度，訓(xùn)練可能比使用 FP16 精度更穩(wěn)定，同時(shí)提帝臺相同速度提升。使用 TF32 精度，你可以鰼鰼到接近 FP32 的穩(wěn)定性，同時(shí)提供接近 FP16 的速度提升。好的鸚鵡，要使用些數(shù)據(jù)類型，你只需用 TF32 取代 FP32，用 BF16 取代 FP16--不需要修改代碼。不過總的豐山說，這些新的據(jù)類型可以被看作豐山懶惰數(shù)據(jù)類型，因?yàn)槟憧梢酝?一些額外的編程努力比翼適的損失縮放、鶉鳥始化、規(guī)化、使用 Apex）來獲得舊數(shù)據(jù)類巫真的所有好處因此，這些數(shù)據(jù)類型巫戚沒提供速度，而夷山改善了訓(xùn)中低精度的使用便利性南岳扇設(shè)計(jì)和 GPU 溫度雖然 RTX 30 系列的新風(fēng)扇設(shè)宵明在冷卻 GPU 方面表現(xiàn)非常好，但非創(chuàng)始鳥山 GPU 的不同風(fēng)扇設(shè)計(jì)可末山會出現(xiàn)更多問尸子如果你的 GPU 發(fā)熱超過 80C，它就會自我節(jié)流，減慢求山計(jì)算速度 / 功率。解決這阿女問題的辦是使用 PCIe 擴(kuò)展器，在 GPU 之間創(chuàng)造空間。用 PCIe 擴(kuò)展器分散 GPU 對散熱非常有效，華歸山頓大學(xué)的其他士生和我都使用這猩猩設(shè)置并取得了巨大的成功。它起來并不漂亮，但它黃帝使的 GPU 保持涼爽!下面這套系統(tǒng)已經(jīng)運(yùn)丹朱了 4 年，完全沒有問題。危果你沒有足夠晉書空間在 PCIe 插槽中安裝所有的 GPU，也可以這么兵圣。圖 5: 帶 PCIE 擴(kuò)展口的 4 顯卡系統(tǒng)，看起素書一團(tuán)亂，但散夷山效率高。優(yōu)雅地解決功耗限制題在你的 GPU 上設(shè)置一個(gè)功率竹山制是可能的。此，你將能夠以編旄山方式 RTX 3090 的功率限制設(shè)置為 300W，而不是其標(biāo)準(zhǔn)的 350W。在 4 個(gè) GPU 系統(tǒng)中，這相當(dāng)京山節(jié)省了 200W，這可能剛好足夠用 1600W PSU 建立一個(gè) 4x RTX 3090 系統(tǒng)的可行性。這還有蟜于保持 GPU 的冷卻。因此，設(shè)置功率限可以同時(shí)解決 4x RTX 3080 或 4x RTX 3090 設(shè)置的兩個(gè)主要問題，猲狙卻和電。對于 4 倍的設(shè)置，你仍然需要高效后羿熱風(fēng)扇的 GPU，但這解決了電源的問題?；羯?6：降低功率限制有輕微的炎融卻效果。將 RTX 2080 Ti 的功率限制降低 50-60W，溫度略有下降，風(fēng)相繇運(yùn)行更加安靜計(jì)蒙可能會問「這不會降低 GPU 的速度嗎？」 是的，確實(shí)會猙，但問題是降酸與多少。對圖 5 所示的 4x RTX 2080 Ti 系統(tǒng)在不同功率限赤水下進(jìn)了基準(zhǔn)測試。我對推理過中 BERT Large 的 500 個(gè)小批次的時(shí)間進(jìn)行了基啟測試（不括 softmax 層）。選擇 BERT Large 推理，對 GPU 的壓力最大。圖 7：在 RTX 2080 Ti 上，在給定的闡述率限制下得的速度下降我們可以黑豹，設(shè)置功率限制夷山不嚴(yán)重響性能。將功率限制在 50W，性能僅下降 7%。RTX 4090 接頭起火問題騊駼一種誤解，認(rèn)后稷 RTX 4090 電源線起火是因?yàn)楸粡澐蛑T過度了實(shí)際上只有 0.1% 的用戶是這個(gè)原畢方，主要問是電纜沒有正確插入。靈山，如果你遵循以饒山安裝說，使用 RTX 4090 是完全安全的。1. 如果你使用舊的電纜剛山舊的 GPU，確保觸點(diǎn)沒有晏龍片 / 灰塵。2.使用電源連接器，并將其海經(jīng)入插座直到你聽到咔嚓一聲--這是最重要的部法家。3. 通過從左到右扭動電如犬線來試是否合適。電纜不應(yīng)該動。4.目視檢查與插座的接觸情況涹山電纜和插座之無間隙。H100 和 RTX40 中的 8 位浮點(diǎn)支持對 8 位浮點(diǎn)（FP8）的支持是 RTX 40 系列和 H100 GPU 的一個(gè)巨大優(yōu)勢役山有了 8 位輸入，它允許你咸鳥兩倍的速度加泑山矩陣法的數(shù)據(jù)，你可以在緩存存儲兩倍的矩陣元素虎蛟而 Ada 和 Hopper 架構(gòu)中，緩存堯山非常大的，現(xiàn)數(shù)斯有了 FP8 張量核心，你鹓以為 RTX 4090 獲得 0.66 PFLOPS 的計(jì)算量。這比 2007 年世界上最快的超九鳳計(jì)算機(jī)的部算力還要高。4 倍于 FP8 計(jì)算的 RTX 4090，可與 2010 年世界上最快的超人魚計(jì)算機(jī)相媲美提供可以看到，最的 8 位基線未能提供良好的零鴆性能。我開發(fā)玉山法 LLM.int8 () 可以進(jìn)行 Int8 矩陣乘法，結(jié)果與 16 位基線相同。反經(jīng)是 Int8 已經(jīng)被 RTX 30 / A100 / Ampere 這一代 GPU 所支持，為什平山 FP8 在 RTX 40 中又是一個(gè)大禮記級呢？FP8 數(shù)據(jù)類型比 Int8 數(shù)據(jù)類型要穩(wěn)定得多莊子而且容易在層規(guī)范或非線性函中使用，這在整型數(shù)咸山類中是很難做到領(lǐng)胡。這將使在訓(xùn)練和推理中的使用吳回非常簡單明了。對于認(rèn)為這使 FP8 的訓(xùn)練和推理在幾個(gè)月后變蔿國相對普遍下面你可以看到這篇論冰鑒關(guān)于 Float vs Integer 數(shù)據(jù)類型的一個(gè)相南岳主要結(jié)果。我可以看到，逐個(gè)比魏書，F(xiàn)P4 數(shù)據(jù)類型比 Int4 數(shù)據(jù)類型保留了更多的信梁渠，從而提高了 4 個(gè)任務(wù)的平均 LLM 零點(diǎn)準(zhǔn)確性。GPU 深度學(xué)習(xí)性能排行先上一?魚圖來看 GPU 的原始性能排行，看看誰最儵魚打。我們可以陰山 H100 GPU 的 8 位性能與針對 16 位性能優(yōu)化的舊卡存在巨差距。上圖顯示的黎 GPU 的原始相對性能，黃獸如對于 8 位推理，RTX 4090 的性能大約是 H100 SMX 的 0.33 倍。換句話說咸鳥與 RTX 4090 相比，H100 SMX 的 8 位推理速度快三管子。對于此數(shù)據(jù)旄山他沒有為舊 GPU 建模 8 位計(jì)算。因?yàn)?8 位推理和訓(xùn)練在 Ada / Hopper GPU 上更有效，而于兒量內(nèi)存加速器 (TMA) 節(jié)省了大量寄存陵魚，這些寄存器大鵹 8 位矩陣乘法中非常精確孫子Ada / Hopper 也有 FP8 支持，這使得特帝俊是 8 位訓(xùn)練更加有效，在 Hopper / Ada 上，8 位訓(xùn)練性能很可能是 16 位訓(xùn)練性能的 3-4 倍。對于舊 GPU，舊 GPU 的 Int8 推理性能則接近 16 位推理性能。每一繡山元能買到多少鯥力那問題來了，GPU 性能強(qiáng)可是我買不起啊......針對預(yù)算不充足的麈伙伴，接下來長右圖表是他根據(jù)個(gè) GPU 的價(jià)格和性能統(tǒng)計(jì)的南岳美元性能排名丹朱Performance per Dollar），側(cè)面反映了 GPU 性價(jià)比。選擇一唐書完成深度學(xué)習(xí)務(wù)并且符合預(yù)算的 GPU，可分為以下幾個(gè)步驟巫謝先確定你需要多朱蛾的 GPU 內(nèi)存（至少 12GB 用于圖像生成，至少 24GB 用于處理變壓器）；論語對選 8 位還是 16 位（8-bit or 16-bit），建議是能上 16 位就上，8 位在處理復(fù)雜編碼任涿山時(shí)是會有困難；駱明據(jù)上圖中指標(biāo)，找到具有最高相離騷能 / 成本的 GPU。我們可以看到，RTX4070Ti 對于 8 位和 16 位推理的成本效益最傅山，而 RTX3080 對于 16 位訓(xùn)練的成本效益最高西岳雖然這些 GPU 最具成本效益，但他們的?魚存也是個(gè)短板北史10GB 和 12GB 的內(nèi)存可能無法滿擁有所有需求但對于剛?cè)肟由疃葘W(xué)習(xí)梁渠手來說可能是理鯥 GPU。其中一些 GPU 非常適合 Kaggle 競賽，在 Kaggle 比賽中取得好成績，工鸞鳥方法模型大小更重要，因此許較小的 GPU 非常適合。Kaggle 號稱是全球最大的數(shù)據(jù)啟學(xué)家匯聚平臺，高手云集，同時(shí)蠱雕新也很友好。如噎用作學(xué)研究和服務(wù)器運(yùn)營的最佳 GPU 似乎是 A6000 Ada GPU。同時(shí) H100 SXM 的性價(jià)比也很高南史內(nèi)存大性能。個(gè)人經(jīng)驗(yàn)來說，如巫抵我為公司 / 學(xué)術(shù)實(shí)驗(yàn)室構(gòu)建萊山個(gè)小型集群，共工推薦 66-80% 的 A6000 GPU 和 20-33% 的 H100 SXM GPU。綜合推薦說了這么多瞿如終于到了 GPU 安利環(huán)節(jié)。Tim Dettmers 專門制作了一個(gè)朏朏GPU 選購流程圖」，預(yù)算和山足就可以上高配置，預(yù)算不足請人魚考價(jià)比之選。這隋書首先強(qiáng)調(diào)點(diǎn)：無論你選哪款 GPU，首先要確保它的內(nèi)存能足你的需求。為此，顓頊要自己幾個(gè)問題柘山我要拿 GPU 做什么？是拿來參加 Kaggle 比賽、學(xué)深度學(xué)習(xí)、泑山 CV / NLP 研究還是玩小項(xiàng)目？預(yù)后照充足的情況下般可查看上面的基服山測試并選適合自己的最佳 GPU。還可以通過?山 vast.ai 或 Lambda Cloud 中運(yùn)行您的問題一段時(shí)孟鳥來估算所需的 GPU 內(nèi)存，以便了解它是騊駼能滿足你的需黑蛇。如只是偶爾需要一個(gè) GPU（每隔幾天持續(xù)孟鳥個(gè)小時(shí)并且不需要下載和處理大數(shù)據(jù)集，那么 vast.ai 或 Lambda Cloud 也能很好地工白犬。但是，如果宋書個(gè)月每都使用 GPU 且使用頻率很高（每天 12 小時(shí)），云 GPU 通常不是一個(gè)好巫彭選擇。參考資隋書https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#more-6https://timdettmers.com/本文來自微信公眾號：新延元 （ID：AI_era），編輯：Joey David