最近，曾拿到斯福、UCL、CMU、NYU 博士 offer、目前在華盛頓大學(xué)博的知名測評博 Tim Dettmers 在自己的網(wǎng)站又上線深度學(xué)習(xí)領(lǐng)域的 GPU 深度測評，到底誰才是性和性價比之王？所周知，在處理度學(xué)習(xí)和神經(jīng)網(wǎng)任務(wù)時，最好使 GPU 而不是 CPU 來處理，因為在神經(jīng)網(wǎng)方面，即使是一比較低端的 GPU，性能也會勝過 CPU。深度學(xué)習(xí)是一個對計算著大量需求的領(lǐng)，從一定程度上說，GPU 的選擇將從根本上決深度學(xué)習(xí)的體驗但問題來了，如選購合適的 GPU 也是件頭疼燒腦的事。怎么避踩雷，如何做出價比高的選擇？經(jīng)拿到過斯坦福UCL、CMU、NYU、UW 博士 offer、目前在華盛頓大讀博的知名評測主 Tim Dettmers 就針對深度學(xué)習(xí)領(lǐng)需要怎樣的 GPU，結(jié)合自身經(jīng)驗撰寫了萬字長文最后給出了 DL 領(lǐng)域的推薦 GPU。Tim Dettmers 此人的研究方向表征學(xué)習(xí)、硬件化的深度學(xué)習(xí)，自己創(chuàng)建的網(wǎng)站深度學(xué)習(xí)和計算硬件領(lǐng)域也是小名氣。Tim Dettmers 此文推薦的 GPU 全部來自 N 廠，他顯然也認(rèn)為，搞機器學(xué)習(xí)AMD 目前還不配擁有姓名。原鏈接小編也貼在面啦。https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#GPU_Deep_Learning_Performance_per_DollarRTX40 和 30 系的優(yōu)缺點與英偉達(dá)靈架構(gòu) RTX 20 系列相比，新的英偉達(dá)安培構(gòu) RTX 30 系列具有更多優(yōu)勢，如稀疏網(wǎng)絡(luò)練和推理。其他能，如新的數(shù)據(jù)型，應(yīng)更多地被作是一種易用化能，因為它們提了與圖靈架構(gòu)相的性能提升，但需要任何額外的程要求。Ada RTX 40 系列甚至有更多的步，比如上面介的張量內(nèi)存加速（TMA）和 8 位浮點運算（FP8）。與 RTX 30 相比，RTX 40 系列也有類似的電和溫度問題。RTX 40 的電源連接器電纜融化問題可以通過正連接電源電纜而松避免。稀疏的絡(luò)訓(xùn)練安培允許密集的速度下進(jìn)細(xì)粒度結(jié)構(gòu)的自稀疏矩陣乘法。是如何做到的？一個權(quán)重矩陣為，把它切成 4 個元素的碎片。在想象這 4 個元素中的 2 個元素為零。圖 1 顯示了這種情況的樣子。圖 1：Ampere 架構(gòu) GPU 中的稀疏矩陣乘法功所支持的結(jié)構(gòu)當(dāng)將這個稀疏權(quán)重陣與一些密集輸相乘時，安培的疏矩陣張量核心能會自動將稀疏陣壓縮為密集表，其大小為圖 2 所示的一半。在壓縮之后，密集縮的矩陣瓦片被入張量核心，張核心計算的矩陣法是通常大小的倍。這有效地產(chǎn)了 2 倍的速度，因為在共享內(nèi)的矩陣乘法過程，帶寬要求減半圖 2：在進(jìn)行矩陣乘法之前，稀矩陣被壓縮為密表示。我在研究致力于稀疏網(wǎng)絡(luò)練，我還寫了一關(guān)于稀疏訓(xùn)練的文。對我的工作一個批評是："你減少了網(wǎng)絡(luò)所需 FLOPS，但并沒有產(chǎn)生速度提升，因為 GPU 不能進(jìn)行快速的稀疏矩陣乘法"。隨著 Tensor Cores 的稀疏矩陣乘法功能的增加，我算法或其他稀疏練算法，現(xiàn)在實上在訓(xùn)練期間提了高達(dá) 2 倍的速度。開發(fā)的稀訓(xùn)練算法有三個段：（1）確定每層的重要性。(2) 刪除最不重要的權(quán)重。(3) 提升與每層的重性成比例的新權(quán)。雖然這一功能處于實驗階段，且訓(xùn)練稀疏網(wǎng)絡(luò)不普遍，但在你 GPU 上擁有這一功能意味著已經(jīng)為稀疏訓(xùn)練未來做好了準(zhǔn)備低精度計算在我工作中，我之前經(jīng)表明，新的數(shù)類型可以提高低度反向傳播期間穩(wěn)定性。圖 4：低精度深度學(xué)習(xí) 8 位數(shù)據(jù)類型。深度學(xué)習(xí)訓(xùn)練得于高度專業(yè)化的據(jù)類型目前，如你想用 16 位浮點數(shù)（FP16）進(jìn)行穩(wěn)定的反傳播，最大的問是普通 FP16 數(shù)據(jù)類型只支持 [-65,504, 65,504] 范圍內(nèi)的數(shù)字。如果你的梯滑過這個范圍，的梯度就會爆炸 NaN 值。為了防止在 FP16 訓(xùn)練中出現(xiàn)這種情況，我們通會進(jìn)行損失縮放即在反向傳播之將損失乘以一個數(shù)字，以防止這梯度爆炸。Brain Float 16 格式（BF16）對指數(shù)使用了更多的比特這樣可能的數(shù)字圍與 FP32 相同，BF16 的精度較低，也是有效數(shù)字，但度精度對學(xué)習(xí)來并不那么重要。以 BF16 所做的是，你不再要做任何損失縮，也不需要擔(dān)心度會迅速爆炸。此，我們應(yīng)該看，通過使用 BF16 格式，訓(xùn)練的穩(wěn)定性有所提，因為精度略有失。這對你意味什么。使用 BF16 精度，訓(xùn)練可能比使用 FP16 精度更穩(wěn)定，同時提供相同速度提升。使用 TF32 精度，你可以得到接近 FP32 的穩(wěn)定性，同時提供接 FP16 的速度提升。好的是要使用這些數(shù)據(jù)型，你只需用 TF32 取代 FP32，用 BF16 取代 FP16--不需要修改代碼。不過總來說，這些新的據(jù)類型可以被看是懶惰的數(shù)據(jù)類，因為你可以通一些額外的編程力（適當(dāng)?shù)膿p失放、初始化、規(guī)化、使用 Apex）來獲得舊數(shù)據(jù)類型的所有好處因此，這些數(shù)據(jù)型并沒有提供速，而是改善了訓(xùn)中低精度的使用利性。風(fēng)扇設(shè)計 GPU 溫度雖然 RTX 30 系列的新風(fēng)扇設(shè)計在冷卻 GPU 方面表現(xiàn)非常好，但非創(chuàng)始版 GPU 的不同風(fēng)扇設(shè)計可能會出現(xiàn)多問題。如果你 GPU 發(fā)熱超過 80C，它就會自我節(jié)流，減其計算速度 / 功率。解決這個題的辦法是使用 PCIe 擴展器，在 GPU 之間創(chuàng)造空間。用 PCIe 擴展器分散 GPU 對散熱非常有效，盛頓大學(xué)的其他士生和我都使用種設(shè)置，并取得巨大的成功。它起來并不漂亮，它能使你的 GPU 保持涼爽!下面這套系統(tǒng)已經(jīng)行了 4 年，完全沒有問題。如你沒有足夠的空在 PCIe 插槽中安裝所有的 GPU，也可以這么用。圖 5: 帶 PCIE 擴展口的 4 顯卡系統(tǒng)，看起來一亂，但散熱效率高。優(yōu)雅地解決耗限制問題在你 GPU 上設(shè)置一個功率限制是能的。因此，你能夠以編程方式 RTX 3090 的功率限制設(shè)置為 300W，而不是其標(biāo)準(zhǔn)的 350W。在 4 個 GPU 系統(tǒng)中，這相當(dāng)于省了 200W，這可能剛好足夠 1600W PSU 建立一個 4x RTX 3090 系統(tǒng)的可行性。這還有助保持 GPU 的冷卻。因此，設(shè)功率限制可以同解決 4x RTX 3080 或 4x RTX 3090 設(shè)置的兩個主要問題，卻和電源。對于 4 倍的設(shè)置，你仍然需要高效散風(fēng)扇的 GPU，但這解決了電源問題。圖 6：降低功率限制有輕的冷卻效果。將 RTX 2080 Ti 的功率限制降低 50-60W，溫度略有下降，風(fēng)扇運行更安靜你可能會問「這不會降低 GPU 的速度嗎？」 是的，確實會降，但問題是降多少。我對圖 5 所示的 4x RTX 2080 Ti 系統(tǒng)在不同功率限制下進(jìn)了基準(zhǔn)測試。我推理過程中 BERT Large 的 500 個小批次的時間進(jìn)了基準(zhǔn)測試（不括 softmax 層）。選擇 BERT Large 推理，對 GPU 的壓力最大。圖 7：在 RTX 2080 Ti 上，在給定的功率限制下得的速度下降我可以看到，設(shè)置率限制并不嚴(yán)重響性能。將功率制在 50W，性能僅下降 7%。RTX 4090 接頭起火問題有一種誤解，認(rèn)為 RTX 4090 電源線起火是因為被彎折過度了實際上只有 0.1% 的用戶是這個原因，主要問是電纜沒有正確入。因此，如果遵循以下安裝說，使用 RTX 4090 是完全安全的。1. 如果你使用舊的電或舊的 GPU，確保觸點沒有碎 / 灰塵。2.使用電源連接器并將其插入插座直到你聽到咔嚓聲--這是最重要的部分。3. 通過從左到右扭動源線來測試是否適。電纜不應(yīng)該動。4.目視檢查與插座的接觸情，電纜和插座之無間隙。H100 和 RTX40 中的 8 位浮點支持對 8 位浮點（FP8）的支持是 RTX 40 系列和 H100 GPU 的一個巨大優(yōu)勢有了 8 位輸入，它允許你以兩的速度加載矩陣法的數(shù)據(jù)，你可在緩存中存儲兩的矩陣元素，而 Ada 和 Hopper 架構(gòu)中，緩存是非常的，現(xiàn)在有了 FP8 張量核心，你可以為 RTX 4090 獲得 0.66 PFLOPS 的計算量。這比 2007 年世界上最快的超級計算機的部算力還要高。4 倍于 FP8 計算的 RTX 4090，可與 2010 年世界上最快的超級計機相媲美。可以到，最好的 8 位基線未能提供好的零點性能。開發(fā)的方法 LLM.int8 () 可以進(jìn)行 Int8 矩陣乘法，結(jié)果與 16 位基線相同。但 Int8 已經(jīng)被 RTX 30 / A100 / Ampere 這一代 GPU 所支持，為什么 FP8 在 RTX 40 中又是一個大升級呢FP8 數(shù)據(jù)類型比 Int8 數(shù)據(jù)類型要穩(wěn)定得，而且很容易在規(guī)范或非線性函中使用，這在整數(shù)據(jù)類型中是很做到的。這將使在訓(xùn)練和推理中使用變得非常簡明了。我認(rèn)為這使 FP8 的訓(xùn)練和推理在幾個后變得相對普遍下面你可以看到篇論文中關(guān)于 Float vs Integer 數(shù)據(jù)類型的一個關(guān)主要結(jié)果。我可以看到，逐個特，F(xiàn)P4 數(shù)據(jù)類型比 Int4 數(shù)據(jù)類型保留了更多的信息，從提高了 4 個任務(wù)的平均 LLM 零點準(zhǔn)確性。GPU 深度學(xué)習(xí)性能排行先上一張來看 GPU 的原始性能排行，看誰最能打。我可以看到 H100 GPU 的 8 位性能與針對 16 位性能優(yōu)化的舊卡存在巨差距。上圖顯示是 GPU 的原始相對性能，比對于 8 位推理，RTX 4090 的性能大約是 H100 SMX 的 0.33 倍。換句話說，與 RTX 4090 相比，H100 SMX 的 8 位推理速度快三倍。對于此據(jù)，他沒有為舊 GPU 建模 8 位計算。因為 8 位推理和訓(xùn)練在 Ada / Hopper GPU 上更有效，而張量內(nèi)存加速 (TMA) 節(jié)省了大量寄存器這些寄存器在 8 位矩陣乘法中非常精確。Ada / Hopper 也有 FP8 支持，這使得特是 8 位訓(xùn)練更加有效，在 Hopper / Ada 上，8 位訓(xùn)練性能很可能 16 位訓(xùn)練性能的 3-4 倍。對于舊 GPU，舊 GPU 的 Int8 推理性能則接近 16 位推理性能。每一美元能買到多算力那么問題來，GPU 性能強可是我買不起啊......針對預(yù)算不充足的小伙，接下來的圖表他根據(jù)各個 GPU 的價格和性能統(tǒng)計的每美元性排名（Performance per Dollar），側(cè)面反映了 GPU 性價比。選擇一個完成度學(xué)習(xí)任務(wù)并且合預(yù)算的 GPU，可分為以下幾步驟：首先確定需要多大的 GPU 內(nèi)存（至少 12GB 用于圖像生成，至少 24GB 用于處理變壓器）；針對 8 位還是 16 位（8-bit or 16-bit），建議是能上 16 位就上，8 位在處理復(fù)雜編碼任務(wù)時是會有困難；根上圖中的指標(biāo)，到具有最高相對能 / 成本的 GPU。我們可以看到，RTX4070Ti 對于 8 位和 16 位推理的成本效最高，而 RTX3080 對于 16 位訓(xùn)練的成本效益最高。雖這些 GPU 最具成本效益，但們的內(nèi)存也是個板，10GB 和 12GB 的內(nèi)存可能無法滿足有需求。但對于入坑深度學(xué)習(xí)的手來說可能是理 GPU。其中一些 GPU 非常適合 Kaggle 競賽，在 Kaggle 比賽中取得好成績，作方法比模型大更重要，因此許較小的 GPU 非常適合。Kaggle 號稱是全球最大的數(shù)據(jù)科家匯聚的平臺，手云集，同時對新也很友好。如用作學(xué)術(shù)研究和務(wù)器運營的最佳 GPU 似乎是 A6000 Ada GPU。同時 H100 SXM 的性價比也很高，內(nèi)存大性能。個人經(jīng)驗來說如果我要為公司 / 學(xué)術(shù)實驗室構(gòu)建一個小型集群我推薦 66-80% 的 A6000 GPU 和 20-33% 的 H100 SXM GPU。綜合推薦說了這么，終于到了 GPU 安利環(huán)節(jié)。Tim Dettmers 專門制作了一個「GPU 選購流程圖」，算充足就可以上高配置，預(yù)算不請參考性價比之。這里首先強調(diào)點：無論你選哪 GPU，首先要確保它的內(nèi)存能足你的需求。為，你要問自己幾問題：我要拿 GPU 做什么？是拿來參加 Kaggle 比賽、學(xué)深度學(xué)習(xí)、做 CV / NLP 研究還是玩小項？預(yù)算充足的情下，可以查看上的基準(zhǔn)測試并選適合自己的最佳 GPU。還可以通過在 vast.ai 或 Lambda Cloud 中運行您的問題一段時間來估所需的 GPU 內(nèi)存，以便了解是否能滿足你的求。如果只是偶需要一個 GPU（每隔幾天持續(xù)個小時）并且不要下載和處理大數(shù)據(jù)集，那么 vast.ai 或 Lambda Cloud 也能很好地工作。但，如果一個月每都使用 GPU 且使用頻率很高每天 12 小時），云 GPU 通常不是一個好選擇。參考資料https://timdettmers.com/2023/01/16/which-gpu-for-deep-learning/#more-6https://timdettmers.com/本文來自微信公眾號新智元 （ID：AI_era），編輯：Joey David