本文來自微公眾號(hào)：開內(nèi)功修煉 （ID：kfngxl），作者：張彥飛 allen大家好，我是哥！負(fù)載是看 Linux 服務(wù)器運(yùn)行狀態(tài)時(shí)很用的一個(gè)性指標(biāo)。在觀線上服務(wù)器行狀況的時(shí)，我們也是常把負(fù)載找來看一看。線上請求壓過大的時(shí)候經(jīng)常是也伴著負(fù)載的飆。但是負(fù)載原理你真的解了嗎？我列舉幾個(gè)問，看看你對載的理解是足夠的深刻負(fù)載是如何算出來的?負(fù)載高低和 CPU 消耗正相關(guān)嗎？內(nèi)是如何暴露載數(shù)據(jù)給應(yīng)層的？如果對以上問題理解還拿捏是很準(zhǔn)，那飛哥今天就你來深入地解一下 Linux 中的負(fù)載！一、解負(fù)載查看程我們經(jīng)常 top 命令查看 Linux 系統(tǒng)的負(fù)載情況一個(gè)典型的 top 命令輸出的負(fù)載下所示。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常說的負(fù)載也叫系統(tǒng)平負(fù)載。因?yàn)?純某一個(gè)瞬的負(fù)載值并有太大意義所以 Linux 是計(jì)算了過去一段間內(nèi)的平均，這三個(gè)數(shù)別代表的是去 1 分鐘、過去 5 分鐘和過去 15 分鐘的平均負(fù)載值那么 top 命令展示的數(shù)據(jù)數(shù)是如來的呢？事上，top 命令里的負(fù)值是從 /proc/ loadavg 這個(gè)偽文件里來的。通 strace 命令跟蹤 top 命令的系統(tǒng)調(diào)可以看的到個(gè)過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個(gè)偽文件 open 函數(shù)。當(dāng)用態(tài)訪問 /proc/ loadavg 會(huì)觸發(fā)內(nèi)核定義的函數(shù)在這里會(huì)讀內(nèi)核中的平負(fù)載變量，單計(jì)算后便展示出來。體流程如下所示。我們據(jù)上述流程再展開了看。偽文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中會(huì)建 /proc/ loadavg，并為其指定操方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開該件時(shí)對應(yīng)的作方法。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當(dāng)在用戶態(tài)打開 /proc/ loadavg 文件時(shí)，都會(huì)調(diào)用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來會(huì)調(diào)用 loadavg_proc_show 進(jìn)行處理，核心的算是在這里成的。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負(fù)值?get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平均載?seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事。用 get_avenrun 讀取當(dāng)前負(fù)載值將平負(fù)載值按照定的格式打輸出在上面源碼中，大看到了 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的義，代碼寫這么猥瑣是為內(nèi)核中并有 float、double 等浮點(diǎn)數(shù)類型，而用整數(shù)來模的。這些代都是為了在數(shù)和小數(shù)之轉(zhuǎn)化使的。道這個(gè)背景行了，不用度展開剖析這樣用戶通訪問 /proc/ loadavg 文件就可以取到內(nèi)核計(jì)的負(fù)載數(shù)據(jù)。其中獲取 get_avenrun 只是在訪問 avenrun 這個(gè)全局?jǐn)?shù)組而已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)??shift;?loads[1]?=?(avenrun[1]?+?offset)??shift;?loads[2]?=?(avenrun[2]?+?offset)??shift;}現(xiàn)在可以總結(jié)下我們開篇的一個(gè)問題:?內(nèi)核是如暴露負(fù)載數(shù)給應(yīng)用層的內(nèi)核定義了個(gè)偽文件 /proc/ loadavg，每當(dāng)用戶打開這個(gè)文的時(shí)候，內(nèi)中的 loadavg_proc_show 函數(shù)就會(huì)被調(diào)用到接著訪問 avenrun 全局?jǐn)?shù)組變量 并將平均負(fù)載從整數(shù)化為小數(shù)，打印出來。了，另外一新問題又來，avenrun 全局?jǐn)?shù)組變量中存的數(shù)據(jù)是何，又是被如計(jì)算出來的？二、內(nèi)核負(fù)載的計(jì)算程接上小節(jié)我們繼續(xù)查 avenrun 全局?jǐn)?shù)組變量的數(shù)來源。這個(gè)組的計(jì)算過分為如下兩：1.PerCPU 定期匯總瞬時(shí)負(fù)：定時(shí)刷新個(gè) CPU 當(dāng)前任務(wù)數(shù) calc_load_tasks，將每個(gè) CPU 的負(fù)載數(shù)據(jù)匯總起來，到系統(tǒng)當(dāng)前瞬時(shí)負(fù)載。2.定時(shí)計(jì)算系統(tǒng)平均負(fù)載定時(shí)器根據(jù)前系統(tǒng)整體時(shí)負(fù)載，使指數(shù)加權(quán)移平均法（一高效計(jì)算平數(shù)的算法）算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)。接下來我分成兩個(gè)小來分別介紹2.1 PerCPU 定期匯總負(fù)載 Linux 內(nèi)核中，有一個(gè)子系統(tǒng)做時(shí)間子系。在時(shí)間子統(tǒng)里，初始了一個(gè)叫高辨率的定時(shí)。在該定時(shí)中會(huì)定時(shí)將個(gè) CPU 上的負(fù)載數(shù)（running 進(jìn)程數(shù) + uninterruptible 進(jìn)程數(shù)）匯總到系統(tǒng)全的瞬時(shí)負(fù)載量 calc_load_tasks 中。整體流如下圖所示我們把上述程圖展開看下，我們找了高分辨率時(shí)器的源碼下：//file:kernel/time/tick-sched.cvoid?tick_setup_sched_timer(void){?//初始化高分辨率時(shí)器?sched_timer?hrtimer_init(&ts-sched_timer,?CLOCK_MONOTONIC,?HRTIMER_MODE_ABS);?//將定時(shí)器的到函數(shù)設(shè)置?tick_sched_timer?ts-sched_timer.function?=?tick_sched_timer;?}在高分辨率初始化的候，將到期數(shù)設(shè)置成了 tick_sched_timer。通過這個(gè)函數(shù)每個(gè) CPU 都會(huì)周期性地執(zhí)行一些務(wù)。其中刷當(dāng)前系統(tǒng)負(fù)就是在這個(gè)機(jī)進(jìn)行的。里有一點(diǎn)要意一個(gè)前提每個(gè) CPU 都有自己獨(dú)立的運(yùn)行隊(duì)，。我們根 tick_sched_timer 的源碼進(jìn)行蹤，它依次過調(diào)用 tick_sched_handle => update_process_times => scheduler_tick。最終在 scheduler_tick 中會(huì)刷新當(dāng)前 CPU 上的負(fù)載值到 calc_load_tasks 上。因?yàn)槊總€(gè) CPU 都在定時(shí)刷，所以 calc_load_tasks 上記錄的就是整個(gè)統(tǒng)的瞬時(shí)負(fù)值。我們來下負(fù)責(zé)刷新 scheduler_tick 這個(gè)核心函數(shù)://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個(gè)函數(shù)中，獲取前 cpu 以及其對應(yīng)運(yùn)行隊(duì)列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當(dāng)前 CPU 的負(fù)載數(shù)據(jù)全局?jǐn)?shù)組中//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當(dāng)前運(yùn)隊(duì)列的負(fù)載對值?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局瞬時(shí)載值??atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過 calc_load_fold_active 獲取當(dāng)前運(yùn)行隊(duì)列的負(fù)相對值，并它加到全局時(shí)負(fù)載值 calc_load_tasks 上。至此，calc_load_tasks 上就有了當(dāng)系統(tǒng)當(dāng)前時(shí)下的整體瞬負(fù)載總數(shù)了我們再展開看是如何根運(yùn)行隊(duì)列計(jì)負(fù)載值的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的用戶?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變化量?if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來是同計(jì)算了 nr_running 和 nr_uninterruptible 兩種狀態(tài)的程的數(shù)量。應(yīng)于用戶空中的 R 和 D 兩種狀態(tài)的 task 數(shù)（進(jìn)程 OR 線程）。由于 calc_load_tasks 是一個(gè)長期存在的據(jù)。所以在新 rq 里的進(jìn)程數(shù)到上的時(shí)候，需要刷變化量就行，不全部重算。此上述函數(shù)回的是一個(gè) delta。2.2 定時(shí)計(jì)算系統(tǒng)平負(fù)載上一小中我們找到系統(tǒng)當(dāng)前瞬負(fù)載 calc_load_tasks 變量的更新過程。現(xiàn)在們還缺一個(gè)算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘平均負(fù)載機(jī)制。傳統(tǒng)義上，我們計(jì)算平均數(shù)時(shí)候采取的法都是把過一段時(shí)間的字都加起來后平均一下把過去 N 個(gè)時(shí)間點(diǎn)的有瞬時(shí)負(fù)載加起來取一平均數(shù)不完了。這其實(shí)我們傳統(tǒng)意上理解的平數(shù)，假如有 n 個(gè)數(shù)字，分別是 x1, x2, ..., xn。那么這個(gè)數(shù)據(jù)集合的均數(shù)就是 (x1 + x2 + ... + xn) / N。但是如果用種簡單的算來計(jì)算平均載的話，存以下幾個(gè)問：1.需要存儲(chǔ)過去每一采樣周期的據(jù)假設(shè)我們 10 毫秒都采集一次那么就需要用一個(gè)比較的數(shù)組將每次采樣的數(shù)全部都存起，那么統(tǒng)計(jì)去 15 分鐘的平均數(shù)得存 1500 個(gè)數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出現(xiàn)一個(gè)新觀察值，就從移動(dòng)平均減去一個(gè)最的觀察值，加上一個(gè)最的觀察值，存數(shù)組會(huì)頻地修改和更。2.計(jì)算過程較為復(fù)雜算的時(shí)候再整個(gè)數(shù)組全起來，再除樣本總數(shù)。然加法很簡，但是成百千個(gè)數(shù)字的加仍然很是瑣。3.不能準(zhǔn)確表示當(dāng)變化趨勢傳的平均數(shù)計(jì)過程中，所數(shù)字的權(quán)重一樣的。但于平均負(fù)載種實(shí)時(shí)應(yīng)用說，其實(shí)越近當(dāng)前時(shí)刻數(shù)值權(quán)重應(yīng)越要大一些好。因?yàn)檫@能更好反應(yīng)期變化的趨。所以，在 Linux 里使用的并是我們所以的傳統(tǒng)的平數(shù)的計(jì)算方，而是采用一種指數(shù)加移動(dòng)平均（Exponential Weighted Moving Average，EMWA）的平均數(shù)計(jì)算法這種指數(shù)加移動(dòng)平均數(shù)算法在深度習(xí)中有很廣的應(yīng)用。另股票市場里 EMA 均線也是使用是類似的方求均值的方。該算法的學(xué)表達(dá)式是a1 = a0 * factor + a * (1 - factor)。這個(gè)算法想解起來有點(diǎn)復(fù)雜，感興的同學(xué)可以 Google 自行搜索。我們只需要道這種方法實(shí)際計(jì)算的候只需要上個(gè)時(shí)間的平數(shù)即可，不要保存所有時(shí)負(fù)載值。外就是越靠現(xiàn)在的時(shí)間權(quán)重越高，夠很好地表近期變化趨。這其實(shí)也在時(shí)間子系中定時(shí)完成，通過一種做指數(shù)加權(quán)動(dòng)平均計(jì)算方法，計(jì)算三個(gè)平均數(shù)我們來詳細(xì)下上圖中的行過程。時(shí)子系統(tǒng)將在鐘中斷中會(huì)冊時(shí)鐘中斷處理函數(shù)為 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當(dāng)每次時(shí)鐘節(jié)拍來時(shí)會(huì)調(diào)用 timer_interrupt，依次會(huì)調(diào)用到 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負(fù)載計(jì)算的核心它會(huì)獲取系當(dāng)前瞬時(shí)負(fù)值 calc_load_tasks，然后來計(jì)算去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)載，保存到 avenrun 中，供用戶程讀取。//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當(dāng)前瞬時(shí)負(fù)載值?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負(fù)載的算?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時(shí)負(fù)載比較簡單就是讀取一內(nèi)存變量而。在 calc_load 中就是采用了我們前面的指數(shù)加權(quán)動(dòng)平均法來算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)的。具體實(shí)的代碼如下//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個(gè)算法理起來挺復(fù)雜但是代碼看來確實(shí)要簡不少，計(jì)算看起來很少而且看不懂沒有關(guān)系，需要知道內(nèi)并不是采用原始的平均計(jì)算方法，是采用了一計(jì)算快，且更好表達(dá)變趨勢的算法行。至此，們開篇提到“負(fù)載是如計(jì)算出來的?”這個(gè)問題有結(jié)論了。Linux 定時(shí)將每個(gè) CPU 上的運(yùn)行隊(duì)列中 running 和 uninterruptible 的狀態(tài)的進(jìn)程數(shù)量匯總一個(gè)全局系瞬時(shí)負(fù)載值，然后再定使用指數(shù)加移動(dòng)平均法統(tǒng)計(jì)過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均載。三、平負(fù)載和 CPU 消耗的關(guān)系現(xiàn)在很多學(xué)都將平均載和 CPU 給聯(lián)系到了一起。認(rèn)為載高、CPU 消耗就會(huì)高，負(fù)載低，CPU 消耗就會(huì)低。在很的 Linux 的版本里，統(tǒng)計(jì)負(fù)載時(shí)候確實(shí)是計(jì)算了 runnable 的任務(wù)數(shù)量，這些進(jìn)程對 CPU 有需求。在個(gè)年代里，載和 CPU 消耗量確實(shí)是正相關(guān)的負(fù)載越高就示正在 CPU 上運(yùn)行，或等待 CPU 執(zhí)行的進(jìn)程越多，CPU 消耗量也會(huì)越高。但前面我們看了，本文使的 3.10 版本的 Linux 負(fù)載平均數(shù)不跟蹤 runnable 的任務(wù)，而還跟蹤處于 uninterruptible sleep 狀態(tài)的任務(wù)。而 uninterruptible 狀態(tài)的進(jìn)程其實(shí)不占 CPU 的。所以說，負(fù)載高并一定是 CPU 處理不過來，也有可會(huì)是因?yàn)榇?等其他資源度不過來而得進(jìn)程進(jìn)入 uninterruptible 狀態(tài)的進(jìn)程導(dǎo)致！為什么要么修改。我網(wǎng)上搜到了在 1993 年的一封郵件里找到了因，以下是件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-???????if?(*p?&&?(*p)->state?==?TASK_RUNNING)+??????if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+????????????????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+???????????????(*p)->state?==?TASK_SWING))???????????nr?+=?FIXED_1;????return?nr;?}可見這個(gè)修改是在 1993 年就引入了。這封郵件所的 Linux 源碼變化中可以看到負(fù)載正式把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)后來從 Linux 中刪除）的程也給添加進(jìn)來。在這郵件中的正中，作者也楚地表達(dá)了什么要把 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程添加進(jìn)來原因。我把的說明翻譯下，如下：內(nèi)核在計(jì)算均負(fù)載時(shí)只算“可運(yùn)行進(jìn)程。我不歡那樣；問是正在“快”交換或等的進(jìn)程，即可中斷的 I / O，也會(huì)消耗資源當(dāng)您用慢速換磁盤替換速交換磁盤，平均負(fù)載降似乎有點(diǎn)直觀...... 無論如何，下面的丁似乎使負(fù)平均值更加致 WRT 系統(tǒng)的主觀度。而且，重要的是，沒有人做任事情時(shí)，負(fù)仍然為零。;-)”這一補(bǔ)丁提交者的要思想是平負(fù)載應(yīng)該表對系統(tǒng)所有源的需求情，而不應(yīng)該表現(xiàn)對 CPU 資源的需求。假設(shè)某 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程因?yàn)?待磁盤 IO 而排隊(duì)的話，此時(shí)它并消耗 CPU，但是正在磁盤等硬件源。那么它應(yīng)該體現(xiàn)在均負(fù)載的計(jì)里的。所以者把 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程表現(xiàn)到平均載里了。所，負(fù)載高低明的是當(dāng)前統(tǒng)上對系統(tǒng)源整體需求情況。如果載變高，可是 CPU 資源不夠了也可能是磁 IO 資源不夠了，所還需要配合它觀測命令體分情況分。四、總結(jié)天我?guī)Т蠹?入地學(xué)習(xí)了下 Linux 中的負(fù)載。我們根據(jù)幅圖來總結(jié)下今天學(xué)到內(nèi)容。我把載工作原理成了如下三。1.內(nèi)核定時(shí)匯總每 CPU 負(fù)載到系統(tǒng)瞬時(shí)負(fù)2.內(nèi)核使用指數(shù)加權(quán)移平均快速計(jì)過去 1、5、15 分鐘的平均數(shù)3.用戶進(jìn)程通打開 loadavg 讀取內(nèi)核中的均負(fù)載我們回頭來總結(jié)下開篇提到幾個(gè)問題。1.負(fù)載是如何計(jì)算出來的?是定時(shí)將每 CPU 上的運(yùn)行隊(duì)列 running 和 uninterruptible 的狀態(tài)的進(jìn)程數(shù)量總到一個(gè)全系統(tǒng)瞬時(shí)負(fù)值中，然后定時(shí)使用指加權(quán)移動(dòng)平法來統(tǒng)計(jì)過 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)載。2.負(fù)載高低和 CPU 消耗正相關(guān)嗎？載高低表明是當(dāng)前系統(tǒng)對系統(tǒng)資源體需求更情。如果負(fù)載高，可能是 CPU 資源不夠了，也能是磁盤 IO 資源不夠了。所以不說看著負(fù)載高，就覺得 CPU 資源不夠用了3.內(nèi)核是如何暴露負(fù)載據(jù)給應(yīng)用層？內(nèi)核定義一個(gè)偽文件 /proc/ loadavg，每當(dāng)用戶打開這個(gè)件的時(shí)候，核中的 loadavg_proc_show 函數(shù)就會(huì)被調(diào)用，該函數(shù)中問 avenrun 全局?jǐn)?shù)組變量，將平均負(fù)載整數(shù)轉(zhuǎn)化為數(shù)，然后打出來?