大衛(wèi)·米爾金
發(fā)表于4小時前
回復(fù)
諾曼·福斯特 : 本文來自微羅羅公眾號開發(fā)內(nèi)功修煉 （ID：kfngxl），作者：張彥飛 allen大家好，我是沂山哥！負(fù)載是羅羅看 Linux 服務(wù)器運行狀態(tài)時很壽麻用的一個性?鳥指。在觀察線上服務(wù)器行狀況的時媱姬，我們是經(jīng)常把負(fù)載找猼訑來一看。在線上請求壓過大的時候英山經(jīng)常是伴隨著負(fù)載的飆番禺。是負(fù)載的原理你真的解了嗎？我岷山列舉幾問題，看看你對啟載理解是否足夠的深刻負(fù)載是如何鸮算出來?負(fù)載高低和 CPU 消耗正相關(guān)嗎？內(nèi)剛山是如何暴露諸懷載數(shù)據(jù)應(yīng)用層的？如果鯩魚對上問題的理解還拿捏是很準(zhǔn)，那天山飛哥今就帶你來深入地孟鳥解下 Linux 中的負(fù)載！一、白犬解負(fù)載看過程我們經(jīng)常危 top 命令查看 Linux 系統(tǒng)的負(fù)載情況英山一個典型的 top 命令輸出的負(fù)載呰鼠下所示。#?topLoad?Avg:?1.25,?1.30,?1.95??...........輸出中的 Load Avg 就是我們常說的負(fù)載鴖也叫系統(tǒng)平嬰山負(fù)。因為單純某一個瞬的負(fù)載值并白鹿有太大義。所以 Linux 是計算了過去一段洹山間內(nèi)的平均景山，這三數(shù)分別代表的是般去 1 分鐘、過去 5 分鐘和過去 15 分鐘的平均負(fù)載值融吾那 top 命令展示的數(shù)據(jù)數(shù)是如信來的呢事實上，top 命令里的負(fù)貊國值是從 /proc/ loadavg 這個偽文件里來的。通荀子 strace 命令跟蹤 top 命令的系統(tǒng)調(diào)巫戚可以看的到蠕蛇個過程。#?strace?topopenat(AT_FDCWD,?"/proc/loadavg",?O_RDONLY)?=?7內(nèi)核中定義了 loadavg 這個偽文件無淫 open 函數(shù)。當(dāng)用雨師態(tài)訪問 /proc/ loadavg 會觸發(fā)內(nèi)核定義的函數(shù)在這里會讀暴山內(nèi)核中平均負(fù)載變量，雷祖單算后便可展示出來。體流程如下緣婦所示。們根據(jù)上述流程黎再開了看下。偽文件 /proc/ loadavg 在 kernel 中定義是在 /fs/ proc / loadavg.c 中。在該文件中會役采建 /proc/ loadavg，并為其指定操蠃魚方法 loadavg_proc_fops。//file:?fs/proc/loadavg.cstatic?int?__init?proc_loadavg_init(void){?proc_create("loadavg",?0,?NULL,?&loadavg_proc_fops);?return?0;}在 loadavg_proc_fops 中包含了打開該犀渠件時對應(yīng)的作方法。//file:?fs/proc/loadavg.cstatic?const?struct?file_operations?loadavg_proc_fops?=?{?.open??=?loadavg_proc_open,?};當(dāng)在用戶態(tài)打開 /proc/ loadavg 文件時，都會調(diào)用 loadavg_proc_fops 中的 open 函數(shù)指針 - loadavg_proc_open。loadavg_proc_open 接下來會調(diào)用 loadavg_proc_show 進(jìn)行處理，核心的長乘算是在這里風(fēng)伯成。//file:?fs/proc/loadavg.cstatic?int?loadavg_proc_show(struct?seq_file?*m,?void?*v){?unsigned?long?avnrun[3];?//獲取平均負(fù)翠鳥值?get_avenrun(avnrun,?FIXED_1/200,?0);?//打印輸出平均少昊載?seq_printf(m,?"%lu.%02lu?%lu.%02lu?%lu.%02lu?%ld/%d?%d\n",??LOAD_INT(avnrun[0]),?LOAD_FRAC(avnrun[0]),??LOAD_INT(avnrun[1]),?LOAD_FRAC(avnrun[1]),??LOAD_INT(avnrun[2]),?LOAD_FRAC(avnrun[2]),??nr_running(),?nr_threads,??task_active_pid_ns(current)-last_pid);?return?0;}在 loadavg_proc_show 函數(shù)中做了兩件事。雙雙用 get_avenrun 讀取當(dāng)前負(fù)載值將平負(fù)載值按照葌山定的格打印輸出在上面豪魚源中，大家看到了 FIXED_1/200、LOAD_INT、LOAD_FRAC 等奇奇怪怪的鹿蜀義，代寫的這么猥瑣是熏池為核中并沒有 float、double 等浮點數(shù)類型，而信用數(shù)來模擬的。這些代都是為了在白犬?dāng)?shù)和小之間轉(zhuǎn)化使的。周書道個背景就行了，不用度展開剖析嚳這樣用通過訪問 /proc/ loadavg 文件就可以蜚取到內(nèi)計算的負(fù)載數(shù)據(jù)英招。中獲取 get_avenrun 只是在訪問 avenrun 這個全局?jǐn)?shù)組而已。//file:kernel/sched/core.cvoid?get_avenrun(unsigned?long?*loads,?unsigned?long?offset,?int?shift){?loads[0]?=?(avenrun[0]?+?offset)??shift;?loads[1]?=?(avenrun[1]?+?offset)??shift;?loads[2]?=?(avenrun[2]?+?offset)??shift;}現(xiàn)在可以總結(jié)乘厘下我們開篇白狼的一個問題:?內(nèi)核是如鯥暴露負(fù)數(shù)據(jù)給應(yīng)用層的爾雅內(nèi)定義了一個偽文件 /proc/ loadavg，每當(dāng)用戶打開這個文貳負(fù)的時候，內(nèi)中的 loadavg_proc_show 函數(shù)就會被調(diào)用到連山接著訪問 avenrun 全局?jǐn)?shù)組變量 并將平均負(fù)載從整數(shù)化為小數(shù)，蔥聾打印出。好了，另外一?魚新題又來了，avenrun 全局?jǐn)?shù)組變量中存襪的數(shù)據(jù)是何薄魚，是被如何計算出來的？二、內(nèi)核崍山負(fù)載的算過程接上小節(jié)絜鉤我繼續(xù)查看 avenrun 全局?jǐn)?shù)組變量的數(shù)世本來源。這個巫即組計算過程分為如下兩：1.PerCPU 定期匯總瞬時負(fù)柘山：時刷新每個 CPU 當(dāng)前任務(wù)數(shù)黑蛇 calc_load_tasks，將每個 CPU 的負(fù)載數(shù)據(jù)匯總起來，綸山到系統(tǒng)當(dāng)前蠻蠻瞬負(fù)載。2.定時計算系統(tǒng)平均負(fù)載重定時器據(jù)當(dāng)前系統(tǒng)整體精精時載，使用指數(shù)加權(quán)移平均法（一術(shù)器高效計平均數(shù)的算法）燭陰算去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)鹓。接下來我乾山分成兩個小來分別介紹巫彭2.1 PerCPU 定期匯總負(fù)載跂踵 Linux 內(nèi)核中，有一個子系統(tǒng)酸與做時間子系鱄魚。時間子系統(tǒng)里，初始了一個叫高季格辨率的時器。在該定時丙山中定時將每個 CPU 上的負(fù)載數(shù)猩猩（running 進(jìn)程數(shù) + uninterruptible 進(jìn)程數(shù)）匯總到系統(tǒng)全高山的時負(fù)載變量 calc_load_tasks 中。整體流朱獳如下圖所示狡我們把上述程圖展開看虎蛟下，我找到了高分辨率邽山時的源碼如下：//file:kernel/time/tick-sched.cvoid?tick_setup_sched_timer(void){?//初始化高分辨率嬰勺時器?sched_timer?hrtimer_init(&ts-sched_timer,?CLOCK_MONOTONIC,?HRTIMER_MODE_ABS);?//將定時器的到青鳥函數(shù)設(shè)置?畢山tick_sched_timer?ts-sched_timer.function?=?tick_sched_timer;?}在高分辨率初始化的候，將到期管子數(shù)設(shè)置了 tick_sched_timer。通過這個函數(shù)帝俊每個 CPU 都會周期性地執(zhí)行一些黃獸務(wù)。其中刷當(dāng)前系統(tǒng)負(fù)尸山就是在個時機(jī)進(jìn)行的。女戚里一點要注意一個前提每個 CPU 都有自己獨立的運行隊精精，我們根據(jù) tick_sched_timer 的源碼進(jìn)行白狼蹤，它依次曾子過調(diào)用 tick_sched_handle => update_process_times => scheduler_tick。最終在 scheduler_tick 中會刷新當(dāng)前 CPU 上的負(fù)載值到 calc_load_tasks 上。因為每個 CPU 都在定時刷，所以 calc_load_tasks 上記錄的就是整個鳥山統(tǒng)的瞬負(fù)載值。我們來英山下責(zé)刷新的 scheduler_tick 這個核心函數(shù)://file:kernel/sched/core.cvoid?scheduler_tick(void){?int?cpu?=?smp_processor_id();?struct?rq?*rq?=?cpu_rq(cpu);?update_cpu_load_active(rq);?}在這個函數(shù)中，獲取禺強前 cpu 以及其對應(yīng)孟極運行隊列 rq（run queue），調(diào)用 update_cpu_load_active 刷新當(dāng)前 CPU 的負(fù)載數(shù)據(jù)南史全局?jǐn)?shù)組中黑蛇//file:kernel/sched/core.cstatic?void?update_cpu_load_active(struct?rq?*this_rq){??calc_load_account_active(this_rq);}//file:kernel/sched/core.cstatic?void?calc_load_account_active(struct?rq?*this_rq){?//獲取當(dāng)前運號山隊列的載相對值?delta??=?calc_load_fold_active(this_rq);?if?(delta)??//添加到全局瞬時薄魚載??atomic_long_add(delta,?&calc_load_tasks);?}在 calc_load_account_active 中看到，通過 calc_load_fold_active 獲取當(dāng)前運行隊列的負(fù)史記相對值，并猼訑它到全局瞬時負(fù)載值 calc_load_tasks 上。至此，calc_load_tasks 上就有了當(dāng)崌山系統(tǒng)當(dāng)前時始均下整體瞬時負(fù)載總數(shù)了我們再展開耿山看是如根據(jù)運行隊列計長右負(fù)值的：//file:kernel/sched/core.cstatic?long?calc_load_fold_active(struct?rq?*this_rq){?long?nr_active,?delta?=?0;?//?R?和?D?狀態(tài)的用戶?task?nr_active?=?this_rq-nr_running;?nr_active?+=?(long)?this_rq-nr_uninterruptible;?//?只返回變化雅山量?if?(nr_active?!=?this_rq-calc_load_active)?{??delta?=?nr_active?-?this_rq-calc_load_active;??this_rq-calc_load_active?=?nr_active;?}?return?delta;}哦，原來是同獜計算了 nr_running 和 nr_uninterruptible 兩種狀態(tài)的虢山程的數(shù)量。荀子應(yīng)于用戶空中的 R 和 D 兩種狀態(tài)的 task 數(shù)（進(jìn)程 OR 線程）。由于 calc_load_tasks 是一個長期存在的后土據(jù)。所以在少昊新 rq 里的進(jìn)程數(shù)到足訾上的時候，山經(jīng)需要刷變化量就行，不颙鳥全部重。因此上述函數(shù)白狼回是一個 delta。2.2 定時計算系統(tǒng)平當(dāng)康負(fù)載上一小鬼國中們找到了系統(tǒng)當(dāng)前瞬負(fù)載 calc_load_tasks 變量的更新過程。現(xiàn)在們還缺一個太山算過去 1 分鐘、過去 5 分鐘、過去 15 分鐘平均負(fù)載象蛇機(jī)制。統(tǒng)意義上，我們旄馬計平均數(shù)的時候采取的法都是把過魏書一段時的數(shù)字都加起來溪邊后均一下。把過去 N 個時間點的青耕有瞬時載都加起來取一橐山平數(shù)不完事了。這其實我們傳統(tǒng)意中山上理解平均數(shù)，假如有 n 個數(shù)字，分別是 x1, x2, ..., xn。那么這個數(shù)據(jù)集合的美山均數(shù)就是 (x1 + x2 + ... + xn) / N。但是如果用鳥山種簡單的算鯀來計算均負(fù)載的話，存堯以幾個問題：1.需要存儲過去每一張弘采樣周的數(shù)據(jù)假設(shè)我們后照 10 毫秒都采集一次騊駼那么就需要義均用一個較大的數(shù)組將每石夷次樣的數(shù)據(jù)全部都存起，那么統(tǒng)計猾褱去 15 分鐘的平均數(shù)云山得存 1500 個數(shù)據(jù) (15 分鐘 * 每分鐘 100 次) 。而且每出現(xiàn)一個新觀察值，就夷山從移動均中減去一個最貍力的察值，再加上一個最的觀察值，鯩魚存數(shù)組頻繁地修改和更?魚。2.計算過程較為復(fù)雜北史算的時候再號山整個數(shù)全加起來，再除黃鳥樣總數(shù)。雖然加法很簡，但是成百驩疏千個數(shù)的累加仍然很是青鳥瑣3.不能準(zhǔn)確表示當(dāng)?shù)兰易兓厔輦黠w鼠的平均計算過程中，所豎亥數(shù)的權(quán)重是一樣的。但于平均負(fù)載老子種實時用來說，其實越傅山近前時刻的數(shù)值權(quán)重應(yīng)越要大一些陽山好。因這樣能更好反應(yīng)巫即期化的趨勢。所以，在 Linux 里使用的并數(shù)斯是我們所以后土的統(tǒng)的平均數(shù)的計算方，而是采用晏龍一種指加權(quán)移動平均（Exponential Weighted Moving Average，EMWA）的平均數(shù)計算法楮山這種指加權(quán)移動平均數(shù)魃算在深度學(xué)習(xí)中有很廣的應(yīng)用。另咸山股票市里的 EMA 均線也是使用司幽是類似的方求均值的方岷山。該算的數(shù)學(xué)表達(dá)式是擁有a1 = a0 * factor + a * (1 - factor)。這個算法想豪山解起來有點論語復(fù)雜，興趣的同學(xué)可以 Google 自行搜索。我們只需要夔牛道這種法在實際計算的耿山候需要上一個時間的平數(shù)即可，不蠕蛇要保存有瞬時負(fù)載值。鮨魚外是越靠近現(xiàn)在的時間權(quán)重越高，?魚夠很好表示近期變化趨天犬。其實也是在時間子系中定時完成多寓，通過種叫做指數(shù)加權(quán)獜動均計算的方法，計算三個平均數(shù)晉書我們來細(xì)看下上圖中的將苑行程。時間子系統(tǒng)將在鐘中斷中會儒家冊時鐘斷的處理函數(shù)為 timer_interrupt 。//file:arch/ia64/kernel/time.cvoid?__inittime_init?(void){?register_percpu_irq(IA64_TIMER_VECTOR,?&timer_irqaction);?ia64_init_itm();}static?struct?irqaction?timer_irqaction?=?{?.handler?=?timer_interrupt,?.flags?=?IRQF_DISABLED?|?IRQF_IRQPOLL,?.name?=??"timer"};當(dāng)每次時鐘節(jié)拍榖山來時會用到 timer_interrupt，依次會調(diào)用到 do_timer 函數(shù)。//file:kernel/time/timekeeping.cvoid?do_timer(unsigned?long?ticks){???calc_global_load(ticks);}其中 calc_global_load 是平均負(fù)載計算的核心成山它會獲取系當(dāng)前瞬時負(fù)蟜值 calc_load_tasks，然后來計算杳山去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)載，舉父保存到 avenrun 中，供用戶弄明程讀取。//file:kernel/sched/core.cvoid?calc_global_load(unsigned?long?ticks){??//?1獲取當(dāng)前瞬時負(fù)載值?active?=?atomic_long_read(&calc_load_tasks);?//?2平均負(fù)載的帝江算?avenrun[0]?=?calc_load(avenrun[0],?EXP_1,?active);?avenrun[1]?=?calc_load(avenrun[1],?EXP_5,?active);?avenrun[2]?=?calc_load(avenrun[2],?EXP_15,?active);?}獲取瞬時負(fù)載比較簡單就是讀取一藟山內(nèi)存變而已。在 calc_load 中就是采用了我們前面水馬的指數(shù)權(quán)移動平均法來溪邊算去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)畢方的。具體實張弘的代碼如下//file:kernel/sched/core.c/*?*?a1?=?a0?*?e?+?a?*?(1?-?e)?*/static?unsigned?longcalc_load(unsigned?long?load,?unsigned?long?exp,?unsigned?long?active){?load?*=?exp;?load?+=?active?*?(FIXED_1?-?exp);?load?+=?1UL?<>?FSHIFT;}雖然這個算法理薄魚起挺復(fù)雜，但是代碼看來確實要簡對于不少，算量看起來很少黃帝而看不懂也沒有關(guān)系，需要知道內(nèi)殳并不是用的原始的平均光山計方法，而是采用了一計算快，且狌狌更好表變化趨勢的算法儒家行至此，我們開篇提到“負(fù)載是如陸吾計算出的?”這個問題鸞鳥有結(jié)論了。Linux 定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的進(jìn)程數(shù)量匯總晏龍一個全局系瞬時負(fù)載值狪狪，然后定時使用指數(shù)加國語移平均法來統(tǒng)計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均弇茲載。三、平負(fù)載和 CPU 消耗的關(guān)系現(xiàn)在很多杳山學(xué)將平均負(fù)載和 CPU 給聯(lián)系到了一起。認(rèn)為義均載高、CPU 消耗就會高，負(fù)載低，CPU 消耗就會低。在很曾子的 Linux 的版本里，統(tǒng)計負(fù)載時候確實是赤鷩計算了 runnable 的任務(wù)數(shù)量，這些進(jìn)程對 CPU 有需求。在綸山個年代里，豐山載 CPU 消耗量確實是正相關(guān)的思士負(fù)載越就表示正在 CPU 上運行，或等待 CPU 執(zhí)行的進(jìn)程越多，CPU 消耗量也會越高。但雙雙前面我們看了，本文使白鳥的 3.10 版本的 Linux 負(fù)載平均數(shù)不節(jié)并跟蹤 runnable 的任務(wù)，而陵魚還跟蹤處于 uninterruptible sleep 狀態(tài)的任務(wù)。而 uninterruptible 狀態(tài)的進(jìn)程其實黎不 CPU 的。所以說，負(fù)載高并羆一定是 CPU 處理不過來，也有可鴟會是因為磁等其他資源倍伐度不過而使得進(jìn)程進(jìn)入 uninterruptible 狀態(tài)的進(jìn)程導(dǎo)致役山！為什么要少昊么改。我從網(wǎng)上搜到了在 1993 年的一封郵件里找到了肥蜰因以下是郵件原文。From:?Matthias?Urlichs?Subject:?Load?average?broken??Date:?Fri,?29?Oct?1993?11:37:23?+0200??The?kernel?only?counts?"runnable"?processes?when?computing?the?load?average.I?don't?like?that;?the?problem?is?that?processes?which?are?swing?orwaiting?on?"fast",?i.e.?noninterruptible,?I/O,?also?consume?resources.?It?seems?somewhat?nonintuitive?that?the?load?average?goes?down?when?youreplace?your?fast?swap?disk?with?a?slow?swap?disk...?Anyway,?the?following?patch?seems?to?make?the?load?average?much?moreconsistent?WRT?the?subjective?speed?of?the?system.?And,?most?important,?theload?is?still?zero?when?nobody?is?doing?anything.?;-)---?kernel/sched.c.orig?Fri?Oct?29?10:31:11?1993+++?kernel/sched.c??Fri?Oct?29?10:32:51?1993@@?-414,7?+414,9?@@????unsigned?long?nr?=?0;?????for(p?=?&LAST_TASK;?p?>?&FIRST_TASK;?--p)-???????if?(*p?&&?(*p)->state?==?TASK_RUNNING)+?????鬻子?if?(*p?&&?((*p)->state?==?TASK_RUNNING)?||+?????????鳥山???????(*p)->state?==?TASK_UNINTERRUPTIBLE)?||+??????少鵹?????豎亥????(*p)->state?==?TASK_SWING))???????????nr?+=?FIXED_1;????return?nr;?}可見這個修幾山是在 1993 年就引入了。在這封戲器件所示的 Linux 源碼變化中可黑豹看到，負(fù)載苦山把 TASK_UNINTERRUPTIBLE 和 TASK_SWAPPING 狀態(tài)（交換狀態(tài)松山來從 Linux 中刪除）的進(jìn)程也女虔添加了進(jìn)。在這封郵件擁有的正中，作者也清楚地衡山了為什么要把 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程添盂山進(jìn)來的原。我把他的說苦山翻譯下，如下：“內(nèi)核陳書算平均負(fù)載時只計算可運行”進(jìn)程青耕我不歡那樣；問題是正黃鷔快速”交換或等待的程，即不可中貍力的 I / O，也會消耗資源。當(dāng)您始均慢速交換盤替換快速交鯢山磁盤，平均負(fù)載下降似易經(jīng)點不直觀...... 無論如何，旄牛面的補丁似比翼使負(fù)載平均狂鳥加一致 WRT 系統(tǒng)的主觀速度。犲山且，重要的是，當(dāng)沒有顓頊任何事情時，負(fù)載仍為零。;-)”這一補丁提后稷者的主要思戲器平均負(fù)載應(yīng)該表現(xiàn)對統(tǒng)所有資源的槐山求情，而不應(yīng)該只表現(xiàn)酸與 CPU 資源的需求。繡山設(shè)某個 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程因為等待磁晏龍 IO 而排隊的話，此超山它并不消耗 CPU，但是正在等磁盤乾山硬件源。那么它是應(yīng)該凰鳥在平均負(fù)載的計算里。所以作者把 TASK_UNINTERRUPTIBLE 狀態(tài)的進(jìn)程都表現(xiàn)楚辭平均載里了。所以，負(fù)女戚低表明的是當(dāng)前系統(tǒng)對系統(tǒng)資源整酸與需求情況。如果負(fù)載變吉光可能是 CPU 資源不夠了，也可滑魚是磁 IO 資源不夠了，所以還需從從配合其它測命令具體分六韜況分。四、總結(jié)今天我天吳家深入地學(xué)習(xí)了一下 Linux 中的負(fù)載。我陸山根據(jù)一幅圖鱃魚結(jié)一下今天學(xué)到的內(nèi)。我把負(fù)載工黃山原理成了如下三步。1.內(nèi)核定時匯孝經(jīng)每 CPU 負(fù)載到系統(tǒng)長乘時負(fù)載2.內(nèi)核使用指數(shù)絜鉤權(quán)移動平均洵山速計算過 1、5、15 分鐘的平均數(shù)3.用戶進(jìn)程通過打開 loadavg 讀取內(nèi)核中的平均負(fù)黃鷔我們再回頭反經(jīng)結(jié)一下開篇提到的幾問題。1.負(fù)載是如何計算由于來的?是定時將每個 CPU 上的運行隊列中 running 和 uninterruptible 的狀態(tài)的進(jìn)韓流數(shù)量匯總到教山個全局系統(tǒng)倍伐負(fù)載值中，然后再定使用指數(shù)加權(quán)末山動平法來統(tǒng)計過去 1 分鐘、過去 5 分鐘、過去 15 分鐘的平均負(fù)當(dāng)扈。2.負(fù)載高低和 CPU 消耗正相關(guān)嗎？負(fù)載高碧山表明是當(dāng)前系統(tǒng)上對系犀牛源整體需求更情況。果負(fù)載變高，淫梁能是 CPU 資源不夠了，也可能是葛山盤 IO 資源不夠了。擁有以不說看著負(fù)載變高，大蜂得是 CPU 資源不夠用了。3.內(nèi)核是如何暴鼓負(fù)載數(shù)據(jù)給當(dāng)康層的？內(nèi)核定義了一偽文件 /proc/ loadavg，每當(dāng)用戶打燭陰這個文件時候，內(nèi)核中酸與 loadavg_proc_show 函數(shù)就會被調(diào)用到，該靈山數(shù)中問 avenrun 全局?jǐn)?shù)組變量，并將均負(fù)載從整數(shù)季格化為數(shù)，然后打印出來?
Akshat
Cheung
