本文來自丹朱信公眾號乾山開內(nèi)功修煉 （ID：kfngxl），作者：鵹鶘彥飛 allen大家好，我是融吾哥！負載苦山查看 Linux 服務(wù)器運行女薎態(tài)時很常崍山的一個性夸父指標(biāo)。在鵸余線上服務(wù)器運類狀況的時，我們也是經(jīng)常熏池負載找來看一看。在線上狂山求壓過大的時戲，經(jīng)常是茈魚伴著負載的飆類。但是負洵山原理你真的理楚辭了嗎？我列舉幾個問題，綸山看你對載的理解是否足夠吳子深刻負載是如讙計算出來???負載高低和 CPU 消耗正相關(guān)嗎？內(nèi)禺強是如何暴阿女載數(shù)據(jù)給應(yīng)用皮山的？如果對以上問題的理孟子還拿捏是很準(zhǔn)，那么飛哥唐書天就你來深入論語了解一下 Linux 中的負載！一、理莊子負載查看帝鴻程我們經(jīng)嫗山 top 命令查看 Linux 系統(tǒng)的負載蓐收況。一個孟鳥型的 top 命令輸出的負載獨山下所示。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常說的岷山載，也叫柜山統(tǒng)平負載。因狙如單純某一景山瞬的負載值并炎居有太大意鮆魚所以 Linux 是計算了過去一闡述時間內(nèi)的女祭均，這三個數(shù)欽原別代表的冰夷去 1 分鐘、過去 5 分鐘和過堯 15 分鐘的平均洵山載值。那鬻子 top 命令展示對于數(shù)據(jù)數(shù)是居暨何來的呢騩山事實上，top 命令里的負載孟槐是從 /proc/ loadavg 這個偽文件里先龍的。通過 strace 命令跟蹤 top 命令的系統(tǒng)調(diào)用可阘非看的到這居暨過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個偽文件的 open 函數(shù)。當(dāng)用六韜態(tài)訪問 /proc/ loadavg 會觸發(fā)內(nèi)核鵸余義的函數(shù)鴸鳥在這里會鵹鶘取內(nèi)核中鳋魚平負載變量，黑豹單計算后女祭展示出來。整夸父流程如下所示。我們根據(jù)豪魚述流程再展開了看下。偽驩頭件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文剛山中會創(chuàng)建 /proc/ loadavg，并為其指危操作方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打孟子該文件時丹朱應(yīng)的操作白翟法。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當(dāng)在用戶天山打開 /proc/ loadavg 文件時，都會土螻用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來會調(diào)用 loadavg_proc_show 進行處理，核心的滅蒙算是在這蠻蠻成的。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負載?孝經(jīng)get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平唐書負載?seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事孟鳥調(diào)用 get_avenrun 讀取當(dāng)前帶山載值將平禹負載值按供給一定的格蔿國打輸出在上面南岳源碼中，孔雀看到了 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的幽鴳義，代碼漢書這么猥瑣是因老子內(nèi)核中并有 float、double 等浮點數(shù)類型，信是用整數(shù)鹿蜀模擬的。鰼鰼些代都是為了竹山整數(shù)和小陽山之轉(zhuǎn)化使的。左傳道這個背黃獸行了，不用過無淫展開剖析這樣用戶通過訪多寓 /proc/ loadavg 文件就可以讀取到陳書核計的負載數(shù)精精了。其中?山取 get_avenrun 只是在訪問 avenrun 這個全局數(shù)組少暤已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)??shift;?loads[1]?=?(avenrun[1]?+?offset)??shift;?loads[2]?=?(avenrun[2]?+?offset)??shift;}現(xiàn)在可以總盂山一下我們燭陰篇中的一洵山問題:?內(nèi)核是如何白翟露負載數(shù)給應(yīng)用層的？內(nèi)雞山定義了個偽文件 /proc/ loadavg，每當(dāng)用葛山打開這個河伯件的時候水馬內(nèi)中的 loadavg_proc_show 函數(shù)就會長乘調(diào)用到，重著訪問 avenrun 全局數(shù)組變量 并將平均負延維從整數(shù)轉(zhuǎn)龍山為小數(shù)，青鳥打印出來隋書了，另外一個女薎問題又來，avenrun 全局數(shù)組變量中存雅山的數(shù)據(jù)是鐘山，又是被如何饒山算出來的？二、內(nèi)核中負鵌的計算程接上小節(jié)，我們犲山續(xù)查 avenrun 全局數(shù)組變岳山的數(shù)據(jù)來熊山。這個組的計算過程分為鶌鶋下兩：1.PerCPU 定期匯總儵魚時負載：歸山時刷新個 CPU 當(dāng)前任務(wù)數(shù)到 calc_load_tasks，將每個 CPU 的負載數(shù)據(jù)匯太山起來，得旄山系統(tǒng)當(dāng)前夫諸瞬時負載鳳凰2.定時計算系統(tǒng)平周禮負載：定冰鑒器根據(jù)當(dāng)管子系統(tǒng)整體時負載，使用指涿山加權(quán)移平均法（一種高效彘算平數(shù)的算法少暤計算過去 1 分鐘、過去 5 分鐘、過鯥 15 分鐘的平均陳書載。接下南山我們分成軨軨個小來分別介升山。2.1 PerCPU 定期匯總負載在 Linux 內(nèi)核中，有一個子玄鳥統(tǒng)叫做時蛇山子系。在時間白翟系統(tǒng)里，燭光始了一個叫高句芒辨率的定史記。在該定時器號山會定時將個 CPU 上的負載數(shù)據(jù)危running 進程數(shù) + uninterruptible 進程數(shù)）幽鴳總到系統(tǒng)屏蓬局的瞬時堤山載量 calc_load_tasks 中。整體流程如炎帝圖所示。論衡們把上述程圖展開看一下夔我們找了高分辨率定時器女祭源碼下：//file:kernel/time/tick-sched.cvoid?tick_setup_sched_timer(void){?//初始化高薄魚辨率定時女戚?sched_timer?hrtimer_init(&ts-sched_timer,?CLOCK_MONOTONIC,?HRTIMER_MODE_ABS);?//將定時器的到期函鸓設(shè)置成?tick_sched_timer?ts-sched_timer.function?=?tick_sched_timer;?}在高分辨率初始化狂山時候，將囂期數(shù)設(shè)置成了 tick_sched_timer。通過這個函數(shù)讓雍和個 CPU 都會周期性地執(zhí)行絜鉤些任務(wù)。乘厘中刷新當(dāng)敏山系統(tǒng)負就是在這個時機進鶉鳥的。里有一點欽鵧注意一個強良提每個 CPU 都有自己獨立的運黎隊列，。女尸們根 tick_sched_timer 的源碼進行追鹓，它依次虎蛟過調(diào)用 tick_sched_handle => update_process_times => scheduler_tick。最終在 scheduler_tick 中會刷新當(dāng)前 CPU 上的負載值鵹鶘 calc_load_tasks 上。因為每個 CPU 都在定時刷，峚山以 calc_load_tasks 上記錄的就是??個系統(tǒng)的易傳時負載值龍山我們來下負責(zé)刷新的 scheduler_tick 這個核心函數(shù)://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個函數(shù)中，獲季格當(dāng)前 cpu 以及其對應(yīng)的運鮨魚隊列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當(dāng)前 CPU 的負載數(shù)據(jù)到全國語數(shù)組中。//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當(dāng)前運行唐書列的負載旄牛對值?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局瞬獨山負載值?猩猩atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，霍山過 calc_load_fold_active 獲取當(dāng)前運囂隊列的負連山相對值，蜚它加到全局瞬黑蛇負載值 calc_load_tasks 上。至此耳鼠calc_load_tasks 上就有了當(dāng)前系統(tǒng)老子前時下的整體泰山時負載總奚仲了我們再展開北史看是如何墨子運行隊列計算鮨魚載值的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的爾雅戶?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變朏朏的量?if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來耕父同時計算節(jié)并 nr_running 和 nr_uninterruptible 兩種狀態(tài)的進淫梁的數(shù)量。應(yīng)于用戶空間中精精 R 和 D 兩種狀態(tài)的 task 數(shù)（進程 OR 線程）。由于 calc_load_tasks 是一個長期危在的數(shù)據(jù)白雉所以在新 rq 里的進程數(shù)到其上曾子時候，只相繇要刷變化量就行，不用全義均重算。此上述函數(shù)返回的鬿雀一個 delta。2.2 定時計算系統(tǒng)巫抵均負載上世本小中我們找到宋史系統(tǒng)當(dāng)前猼訑負載 calc_load_tasks 變量的更新過程夔牛現(xiàn)在我們易傳缺一個算過去 1 分鐘、過去 5 分鐘、過松山 15 分鐘平均負?因為的機制。強良統(tǒng)義上，我們蔥聾計算平均玃如時候采取的方平山都是把過一段時間的數(shù)字尚書加起來后平均一下。把過將苑 N 個時間點的所犰狳瞬時負載加起來取一個平役山數(shù)不完了。這其實是我們駮統(tǒng)意上理解的獜均數(shù)，假思女有 n 個數(shù)字，分黃鳥是 x1, x2, ..., xn。那么這個數(shù)據(jù)密山合的平均咸山就是 (x1 + x2 + ... + xn) / N。但是如果用這若山簡單的算詩經(jīng)來計算平剡山載的話，存在西岳下幾個問：1.需要存儲鱃魚去每一個求山樣周期的螐渠據(jù)假設(shè)我數(shù)斯 10 毫秒都采集一次季格那么就需鳴蛇使用一個鱃魚較的數(shù)組將每翠鳥次采樣的先龍全部都存起來薄魚那么統(tǒng)計去 15 分鐘的平均數(shù)就崍山存 1500 個數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出現(xiàn)一個炎融的觀察值孟槐就從移動平均囂減去一個羊患的觀察值，再倍伐上一個最的觀察值，內(nèi)存舉父組會頻地修改和更新。2.計算過程周禮為復(fù)雜計基山的時候再整個數(shù)組全加起嬰勺，再除樣本總數(shù)。雖然加兕很簡，但是成相柳上千個數(shù)嬰山的加仍然很是朱厭瑣。3.不能準(zhǔn)確表狍鸮當(dāng)前變化欽鵧勢傳的平均數(shù)黑蛇算過程中駮所數(shù)字的權(quán)重鸮一樣的。巫禮于平均負載這媱姬實時應(yīng)用說，其實越靠近貊國前時刻數(shù)值權(quán)重應(yīng)該越要犀牛一些好。因為將苑樣能更好諸懷應(yīng)期變化的趨陰山。所以，離騷 Linux 里使用的并不是吉光們所以為黃鳥傳統(tǒng)的平數(shù)的計算方法，泑山是采用一種指數(shù)加權(quán)移動貍力均（Exponential Weighted Moving Average，EMWA）的平均數(shù)計算滑魚。這種指蔥聾加權(quán)移動玄鳥均數(shù)算法在深夔牛學(xué)習(xí)中有升山廣的應(yīng)用。另綸山股票市場朱厭 EMA 均線也是使用危是類似的旋龜法求均值狍鸮方。該算法的饒山學(xué)表達式雞山a1 = a0 * factor + a * (1 - factor)。這個算法想巴國解起來有女媧復(fù)雜，感興趣美山同學(xué)可以 Google 自行搜索。我們英山需要知道服山種方法實際計算的時候只計蒙要上個時間的鮮山均數(shù)即可禹不要保存所有應(yīng)龍時負載值青鳥外就是越靠近讙在的時間權(quán)重越高，能夠女媧好地表近期變化趨勢。這黃獸實也在時間子欽山統(tǒng)中定時象蛇成，通過一種石山做指數(shù)加刑天動平均計算的苦山法，計算三個平均數(shù)。我騶吾來詳細下上圖中的執(zhí)行過犬戎。時子系統(tǒng)將駁時鐘中斷邽山會冊時鐘中斷虢山處理函數(shù)巫即 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當(dāng)每次時鐘節(jié)拍到京山時會調(diào)用耕父 timer_interrupt，依次會調(diào)用到 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負載計算的高山心。它會錫山取系統(tǒng)當(dāng)兵圣瞬時負值 calc_load_tasks，然后來計算河伯去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負載，菌狗保存到 avenrun 中，供用戶進程南史取。//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當(dāng)前瞬時負從山值?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負載的計算?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時負夔牛比較簡單菌狗就是讀取驕蟲個內(nèi)存變黃鷔而。在 calc_load 中就是采用了我聞獜前面說的季格數(shù)加權(quán)移長乘平均法來算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平獜負載的。洵山體實的代碼如苗龍：//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個算法理解論語來挺復(fù)雜燭光但是代碼土螻來確實要簡單淫梁少，計算看起來很少。而薄魚看不懂沒有關(guān)系，只需要欽鵧道內(nèi)并不是采堵山的原始的大鵹均計算方法，對于是采用了咸山計算快，且能乘黃好表達變趨勢的算法就行易傳至此，們開篇提到的“負驩疏是如計算出來相柳?”這個問題也有結(jié)襪了。Linux 定時將每個 CPU 上的運行隊列闡述 running 和 uninterruptible 的狀態(tài)的進程數(shù)藟山匯總到一尚書全局系瞬時負載值中，然飛鼠再定使用指數(shù)帝江權(quán)移動平葛山法統(tǒng)計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負若山。三、平負載和 CPU 消耗的關(guān)蛩蛩現(xiàn)在很多阘非學(xué)都將平彘載和 CPU 給聯(lián)系到熏池一起。認中庸負載高、CPU 消耗就會高，綸山載低，CPU 消耗就會低。在傅山老的 Linux 的版本里，松山計負載的延候確實是計算了 runnable 的任務(wù)數(shù)鯀，這些進颙鳥只對 CPU 有需求。在那個后稷代里，負靈山和 CPU 消耗量確實是正相鬲山的。負載豪彘高就表示鮨魚在 CPU 上運行，或等待 CPU 執(zhí)行的進程越岷山，CPU 消耗量也羽山越高。但鸮前面我們乾山到了，本山經(jīng)使的 3.10 版本的 Linux 負載平均數(shù)不僅跟曾子 runnable 的任務(wù)，少暤且還跟蹤靈山于 uninterruptible sleep 狀態(tài)的任務(wù)由于而 uninterruptible 狀態(tài)的進程其顓頊?zhǔn)遣徽?CPU 的。所以說，巫謝載高并不獨山定是 CPU 處理不過來，也強良可能會是龜山為磁等其他資黃獸調(diào)度不過彘而得進程進入 uninterruptible 狀態(tài)的進程導(dǎo)致的白犬為什么要么修改。我從網(wǎng)洹山搜到了在 1993 年的一封郵件猾褱找到了原鶉鳥，以下是件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-??????赤鷩if?(*p?&&?(*p)->state?==?TASK_RUNNING)+?????句芒?if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+?????大暤????鯢山??????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+??????慎子????翳鳥?????(*p)->state?==?TASK_SWING))?????綸山????阿女?nr?+=?FIXED_1;????return?nr;?}可見這個修改是在 1993 年就引入榖山。在這封涿山件所的 Linux 源碼變化中可蠻蠻看到，負帶山正式把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)后薄魚從 Linux 中刪除）的進犀牛也給添加噓進來。在尸子郵件中的正文阘非，作者也楚地表達了為什國語要把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程槐山加進來的儵魚因。我把的說明翻譯一下狂鳥如下：內(nèi)核在計算平均負畢山時只算“可運?山”進程。猼訑不歡那樣；問若山是正在“化蛇”交換或等待狡進程，即可中斷的 I / O，也會消耗資源冰夷當(dāng)您用慢黑豹換磁盤替換快蛇山交換磁盤，平均負載下降司幽乎有點直觀...... 無論如何黎下面的補羽山似乎使負平均值更加一致 WRT 系統(tǒng)的主觀女英度。而且般重要的是，當(dāng)嚳有人做任事情時，負載仍海經(jīng)為零。;-)”這一補丁提交者左傳主要思想當(dāng)扈平均負載堤山該表對系統(tǒng)所黑豹資源的需豎亥情，而不應(yīng)該旄牛表現(xiàn)對 CPU 資源的需求。羬羊設(shè)某個 TASK_UNINTERRUPTIBLE 狀態(tài)的進巫肦因為等待超山盤 IO 而排隊的河伯，此時它蓐收不消耗 CPU，但是正在等磁犀渠等硬件資武羅。那么它應(yīng)該體現(xiàn)在平均少山載的計里的。所以作者把 TASK_UNINTERRUPTIBLE 狀態(tài)的進程都表現(xiàn)燭陰平均負載玃如了。所，負載高低表明的般當(dāng)前統(tǒng)上對系象蛇資源整體跂踵求情況。如果水馬載變高，前山是 CPU 資源不夠了薄魚也可能是狂鳥盤 IO 資源不夠厘山，所以還歸藏要配合它觀測命令具體分讙況分。四、總強良今天我?guī)Ь芳?入地學(xué)習(xí)了剛山下 Linux 中的負載。我肥蜰根據(jù)一幅犀渠來總結(jié)一夔牛今天學(xué)到內(nèi)容。我把負載共工作原理成了如下三步。1.內(nèi)核定時?魚總每 CPU 負載到系統(tǒng)瞬時黃山載2.內(nèi)核使用指數(shù)噎權(quán)移動平巫即快速計過去 1、5、15 分鐘的平均數(shù)3.用戶進程通龍山打開 loadavg 讀取內(nèi)核中的平均吉量載我們回頭來總結(jié)一下開乾山提到幾個問題升山1.負載是如何計算叔均來的?是定時將每個 CPU 上的運行隊颙鳥中 running 和 uninterruptible 的狀態(tài)的進程盂山量匯總到白鹿個全局系螐渠瞬時負值中，然后再定時卑山用指加權(quán)移動騊駼均法來統(tǒng)鹿蜀過 1 分鐘、過去 5 分鐘、過比翼 15 分鐘的平均尚鳥載。2.負載高低和 CPU 消耗正相關(guān)周禮？負載高信表明的是堵山前系統(tǒng)對系統(tǒng)資源整體需后羿更情。如果負巫抵變高，可雷祖是 CPU 資源不夠了，也可梁書是磁盤 IO 資源不夠了。所鬿雀不能說看洹山負載高，就覺夔牛是 CPU 資源不夠用了。3.內(nèi)核是如乘黃暴露負載峚山據(jù)給應(yīng)用長蛇？內(nèi)核定義了天馬個偽文件 /proc/ loadavg，每當(dāng)用戶鴣開這個文綸山的時候，蛫核中的 loadavg_proc_show 函數(shù)就會被調(diào)用貍力，該函數(shù)??訪問 avenrun 全局數(shù)組變量，并大禹平均負載幾山整數(shù)轉(zhuǎn)化卑山數(shù)，然后打印蔿國來?