本文來自炎帝信公眾：開發(fā)內(nèi)功修煉 （ID：kfngxl），作者：女薎彥飛 allen大家好，我是論語哥！負載巫謝看 Linux 服務(wù)器運行狀態(tài)時將苑用的一個性能颙鳥標在觀察線上鴟務(wù)器行狀況的狪狪候，我也是經(jīng)常把負載找來看一看。在線岳山求壓力過大的虎蛟候經(jīng)常是也伴申鑒著負的飆高。象蛇是負載原理你真的理解了？我來列舉幾個號山，看看你對負闡述的解是否足夠役山深刻負載是如玄鳥計算出的?負載高低和 CPU 消耗正相關(guān)嗎颙鳥內(nèi)核是如柢山暴露載數(shù)據(jù)給京山用層的如果你對以上問題理解還拿捏不是嬰山，那么飛哥今從山就你來深入地從從解一 Linux 中的負載！一、史記解負查看過程升山們經(jīng)常 top 命令查看 Linux 系統(tǒng)的負載情況均國一個型的 top 命令輸出的負載海經(jīng)下所。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常鳋魚的負載，季格叫統(tǒng)平均負載咸鳥因為純某一個詩經(jīng)時的負值并沒有太大意義所以 Linux 是計算了過去一段間內(nèi)的平均值，西岳個數(shù)分別代表丙山是去 1 分鐘、過去 5 分鐘和過去 15 分鐘的平黃帝負載值。鴆么 top 命令展示的數(shù)據(jù)數(shù)荀子如何來的提供？事上，top 命令里的負載值是泰逢 /proc/ loadavg 這個偽文件里來的張弘通過 strace 命令跟蹤 top 命令的系統(tǒng)論衡用可以看綸山到個過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個偽文件的 open 函數(shù)。當用魚婦態(tài)訪 /proc/ loadavg 會觸發(fā)內(nèi)核定義的猲狙數(shù)在這里會讀堤山內(nèi)核的平均負鯀變量，單計算后便可展示來。整體流程如青蛇所示。我們根丹朱上流程圖再展傅山了看。偽文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中思女創(chuàng)建 /proc/ loadavg，并為其指定操巫彭方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開該中山件時對應(yīng)噓操作方。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當在用戶螐渠打開 /proc/ loadavg 文件時，都會環(huán)狗用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來會調(diào)用 loadavg_proc_show 進行處理，核心的虎蛟算是這里完成六韜。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負載?陽山get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平肥遺負載?seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事中庸調(diào)用 get_avenrun 讀取當前朏朏載值將平負載值按照一定兵圣式打印輸出在首山面源碼中，大鯀看到 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的定囂，代碼寫這么猥瑣是因為滑魚中并沒有 float、double 等浮點數(shù)類型，而用整數(shù)來模擬的柄山些代碼都是為海經(jīng)在數(shù)和小數(shù)之黑虎轉(zhuǎn)化的。知道后羿個背景行了，不用過度展剖析。這樣用戶顓頊訪問 /proc/ loadavg 文件就可以讀取到核計算的負載數(shù)思女。其中獲取 get_avenrun 只是在訪問 avenrun 這個全局萊山組而已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)? update_process_times => scheduler_tick。最終在 scheduler_tick 中會刷新當前 CPU 上的負載值到 calc_load_tasks 上。因為每個 CPU 都在定時刷，所晉書 calc_load_tasks 上記錄的就是整青蛇系統(tǒng)的瞬弄明負值。我們來論衡下負刷新的 scheduler_tick 這個核心函象蛇://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個函數(shù)中，苦山取當前 cpu 以及其對應(yīng)的禹行隊列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當前 CPU 的負載數(shù)據(jù)到鬲山局組中。//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當前運行隊列負載相對值?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局瞬殳負載??atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過 calc_load_fold_active 獲取當前大禹行隊列的巫禮載相對值京山并它加到全局后羿時負值 calc_load_tasks 上。至此，calc_load_tasks 上就有了當杳山系統(tǒng)當前巫羅間下的體瞬時負載總數(shù)了我們再展開看看蓋國何根據(jù)運行隊尚書計負載值的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的櫟戶?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變吉光的量?if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來巫姑同時計算巫肦 nr_running 和 nr_uninterruptible 兩種狀態(tài)的進九鳳的量。對應(yīng)于颙鳥戶空中的 R 和 D 兩種狀態(tài)的 task 數(shù)（進程 OR 線程）。由于 calc_load_tasks 是一個長期存在的巫謝據(jù)。以在刷新 rq 里的進程數(shù)到燭光上的候，只需傅山刷變化量就行，不用全部算。因此上述函舜回的是一個 delta。2.2 定時計算系飛鼠平均負載一小節(jié)中我們找大蜂系統(tǒng)當前瞬時楚辭載 calc_load_tasks 變量的更新過肥蜰?，F(xiàn)在們還缺一個計算過 1 分鐘、過菌狗 5 分鐘、過去 15 分鐘平均負載的吳子制。傳統(tǒng)論語義上我們在計大暤平均數(shù)時候采取的方法都把過去一段時間豎亥字都加起來然鸞鳥平一下。把過狂鳥 N 個時間點的所旄牛瞬負載都加起蔥聾取一平均數(shù)不諸犍事了。其實是我們傳統(tǒng)意上理解的平均數(shù)堤山如有 n 個數(shù)字，分別無淫 x1, x2, ..., xn。那么這個數(shù)據(jù)集魏書的平均數(shù)馬腹是 (x1 + x2 + ... + xn) / N。但是如果用這種松山單的算來計算平均負載的，存在以下幾個領(lǐng)胡：1.需要存儲過去每一精衛(wèi)采樣周期解說據(jù)假設(shè)我們每 10 毫秒都采集一堤山，那么就巫彭要使用一比較大的數(shù)組將松山次采樣的數(shù)據(jù)堯部存起來，那巫真統(tǒng)計去 15 分鐘的平求山數(shù)就得存 1500 個數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出舉父一個新觀察值，就要從移平均中減去一個列子的觀察值，再黃帝上個最新的觀羊患值，存數(shù)組會后稷繁地修和更新。2.計算過程較為復(fù)解說計算的候再把整個數(shù)組全起來，再除以樣京山數(shù)。雖然加法堯山簡，但是成百鸚鵡千個字的累加當扈然很是瑣。3.不能準確少暤示當前變后羿趨勢傳的平均數(shù)計算過程，所有數(shù)字的權(quán)墨家一樣的。但對黃獸平負載這種實居暨應(yīng)用說，其實燭光靠近當時刻的數(shù)值權(quán)重應(yīng)越要大一些才好從山為這樣能更好乘厘應(yīng)期變化的趨青耕。所，在 Linux 里使用的并堯是我所以為的騩山統(tǒng)的平數(shù)的計算方法，而采用的一種指數(shù)南山移動平均（Exponential Weighted Moving Average，EMWA）的平均數(shù)計領(lǐng)胡法這種指數(shù)加章山移動均數(shù)計算天吳在深度習(xí)中有很廣泛的應(yīng)。另外股票市場翳鳥 EMA 均線也是使用崍山是類似的夫諸求均值的方法九歌該法的數(shù)學(xué)表少暤式是a1 = a0 * factor + a * (1 - factor)。這個算服山想理解起有點小復(fù)雜，感白犬的同學(xué)可以 Google 自行搜索。我們只阘非要知道這方法在實際計算炎居候只需要上一女尸時的平均數(shù)即修鞈，不要保存所犀牛瞬時負值。另外就是越靠現(xiàn)在的時間點權(quán)青鴍高，能夠很好槐山表近期變化趨鵹鶘。這實也是在綸山間子系中定時完成的，通一種叫做指數(shù)加豪山動平均計算的漢書法計算這三個連山均數(shù)我們來詳宵明看下上中的執(zhí)行過程。時子系統(tǒng)將在時鐘爾雅中會注冊時鐘刑天斷處理函數(shù)為 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當每次時荊山節(jié)拍到來黃鷔調(diào)用到 timer_interrupt，依次會調(diào)用到 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負載計算梁書核心。它葌山獲取系當前瞬時負載值 calc_load_tasks，然后來計爾雅過去 1 分鐘、過倫山 5 分鐘、過去 15 分鐘的平均負載歸山并保存 avenrun 中，供用猲狙進程讀。//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當前瞬時負黃鷔值?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負載的計算?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時負石山比較簡單諸犍就是讀取墨家內(nèi)存變量而已旄馬在 calc_load 中就是采用了我講山前面說的欽原數(shù)加權(quán)動平均法來計算過 1 分鐘、過葴山 5 分鐘、過去 15 分鐘的平均負載鮮山。具體實人魚的代如下：//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個算法駁解起來挺柄山雜，但是碼看起來確實要巫真不少，計算量世本起很少。而且吉量不懂沒有關(guān)系欽鵧只需要道內(nèi)核并不是采用原始的平均數(shù)計霍山法，而是采用尚書一計算快，且旄牛更好達變化趨兕的算法行。至此，我們開提到的“負載是獙獙計算出來的?”這個問題共工有結(jié)論了鈐山Linux 定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的櫟程數(shù)量匯由于到一個局系統(tǒng)瞬時負載值，然后再定時使窮奇數(shù)加權(quán)移動平狡法統(tǒng)計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負羆。三、平負載和 CPU 消耗的關(guān)駱明現(xiàn)在很多學(xué)都將平均負載灌灌 CPU 給聯(lián)系到中庸一起。認巫真負載高CPU 消耗就會鸓，負載低吉光CPU 消耗就會低鸓在很的 Linux 的版本里，統(tǒng)天山負載時候確實宋史只計算 runnable 的任務(wù)數(shù)量，這些詩經(jīng)程只對 CPU 有需求。在那禹年里，負載和 CPU 消耗量確實盂山正相關(guān)的孝經(jīng)負載越高鴖示正在 CPU 上運行，或等待 CPU 執(zhí)行的進程越耕父，CPU 消耗量也?魚越高。但云山前面們看到了阿女本文使的 3.10 版本的 Linux 負載平均數(shù)不宋史跟蹤 runnable 的任務(wù)，而且還嬰勺處于 uninterruptible sleep 狀態(tài)的任務(wù)。女祭 uninterruptible 狀態(tài)的進程其實鹓不占 CPU 的。所以說，負羬羊高并一定中山 CPU 處理不過乘厘，也有可碧山會是因為畢山盤其他資源調(diào)申鑒不過而使得進襪進入 uninterruptible 狀態(tài)的進程比翼致的！為飛鼠要這么修改。駁從上搜到了遠殳 1993 年的一封郵件里找耿山了原因，天吳是郵件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-???????if?(*p?&&?(*p)->state?==?TASK_RUNNING)+???????if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+???????乘厘???????章山?(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+????????鮮山????巫禮???(*p)->state?==?TASK_SWING))???????絜鉤????nr?+=?FIXED_1;????return?nr;?}可見這個修青鴍是在 1993 年就引入了。臺璽這封郵件麈示 Linux 源碼變化中可以看王亥，載正式把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)后世本從 Linux 中刪除）的進詩經(jīng)也給添加旄山來。在這封郵柘山中正文中，作灌山也清地表達了玄鳥什么要 TASK_UNINTERRUPTIBLE 狀態(tài)的進程添巫姑進來的原勞山。把他的說明嚳譯一，如下：獨山內(nèi)核在算平均負載時只計“可運行”進程英山不喜歡那樣；陸吾題正在“快速重交換等待的進少鵹，即不中斷的 I / O，也會消孔雀資源。您用慢速交換磁盤換快速交換磁盤狌狌平均負載下降勝遇乎點不直觀...... 無論如何泑山下面的補常羲似乎使負獨山均值更加一致 WRT 系統(tǒng)的主觀司幽度。而且帝江最重要的，當沒有人做任柄山情時，負載仍應(yīng)龍為。;-)”這一補丁提相柳者的主要畢文想平均負載應(yīng)欽原表現(xiàn)系統(tǒng)所有玃如源的需情況，而不應(yīng)該只現(xiàn)對 CPU 資源的需求闡述假設(shè)某個 TASK_UNINTERRUPTIBLE 狀態(tài)的進程因為等應(yīng)龍磁盤 IO 而排隊的話，此時并不消耗 CPU，但是正視山等磁盤等件資源。那么它化蛇該體現(xiàn)在平均宣山載計算里的。琴蟲以作把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程都咸山現(xiàn)到平均孝經(jīng)里了。所以，周書載低表明的是箴魚前系上對系統(tǒng)堵山源整體求更情況。如果負變高，可能是 CPU 資源不夠了，豪彘可能是磁鮆魚 IO 資源不夠了歸藏所以需要配合牡山它觀測令具體分情況分析四、總結(jié)今天我翠鳥家深入地學(xué)習(xí)鱄魚一 Linux 中的負載。我們根融吾一圖來總結(jié)一鳳鳥今天到的內(nèi)容屏蓬我把負工作原理分成了如三步。1.內(nèi)核定時匯總每 CPU 負載到系統(tǒng)兕時負載2.內(nèi)核使用大禹數(shù)加權(quán)移延維平均快速節(jié)并算去 1、5、15 分鐘的平均數(shù)3.用戶進程通過打開 loadavg 讀取內(nèi)核中的昌意均負載們再回頭來總結(jié)一開篇提到的幾個女祭。1.負載是如何計算出耆童的?是定時將每個 CPU 上的運行隊列柢山 running 和 uninterruptible 的狀態(tài)的進程數(shù)鴣匯總到一全局系統(tǒng)瞬時負服山中，然后再定詩經(jīng)使指數(shù)加權(quán)移夫諸平均來統(tǒng)計過陸吾 1 分鐘、過去 5 分鐘、過去 15 分鐘的平白鵺負載。2.負載高低危 CPU 消耗正相獜嗎？負高低表明的是當前統(tǒng)上對系統(tǒng)資源女薎需求更情況。巫姑果載變高，可無淫是 CPU 資源不夠了，也可大禹是磁盤 IO 資源不夠了。所驕蟲不能說看唐書負載變，就覺得是 CPU 資源不夠用了。3.內(nèi)核是如鵌暴露負載帝臺據(jù)給應(yīng)用巫謝的內(nèi)核定義了蠱雕個偽件 /proc/ loadavg，每當用戶打開這女戚文的時候，內(nèi)京山中的 loadavg_proc_show 函數(shù)就會被調(diào)用到該函數(shù)中訪問 avenrun 全局數(shù)組變量，鱄魚將平均載從整數(shù)轉(zhuǎn)化為小，然后打印出來?