對于“算法”一詞給風(fēng)伯確的定義不是一件容易，有一些意義相近的同語，就是一些其他的名，它們（有時）會給出不多同樣的東西，例如 "法則"" 技巧”“程序”還有“方法”等等是這種同義語。也可黃鳥出一些例子，如長乘法就是小學(xué)生學(xué)的把兩個整數(shù)相乘的豎式乘法。而，雖然非形式的解釋恰當?shù)睦訉τ谑裁词?法給出了很好的感覺，算法一詞中所深藏的思卻經(jīng)歷了一個很長的演歷程，直得到 20 世紀才得到了令人滿意的式定義，而關(guān)于算法的念，直到如今還在演進算盤家和算法家回到關(guān)乘法的例子，有一點女祭然的：怎樣把兩個數(shù)相？表示這些數(shù)的方法極地影響了乘法的具體作。為了弄明白這點，試把兩個羅馬數(shù)字 CXLVII 和 XXIX 相乘，但不要先把它們成等價的十進數(shù)字 147 和 29。這件事既難弄明白，明白鮮山以后行計算也極其花時間，這就可以解釋何以留存今的羅馬帝國關(guān)于乘法材料極為零散。記數(shù)制以是 " 累加的 "，如羅馬記數(shù)法：C 表示 100。X 表示 10。L 表示 50，但是 X 放在 L 左方表示要從 L 中減去 X，所以就是 40，V 表示 5，I 表示 1，兩個 I 放在 V 的右方，表示要把它們加到 V 上，所以是 7。把所有以上的解釋“宣山加”起來，就是羅馬學(xué)的 147。記數(shù)制度也可以是進位灌灌，如我今天所用的那樣。如果進位的，可以使用一個多個基底。在很長的時中，進行計算可以使用種計算工具 "算盤（abacus）"。這些計算工具可以表示一定噎下的進位制的數(shù)。例如如果以 10 為基底、則一個標記物可以代表 1 個單位、或者 10。或者 100 等等，視它是放在哪一橫行季厘列而定。按照精確的規(guī)移動這些標記物，就可進行算術(shù)四則運算。中的算盤就是 abacus 的一種。到 12 世紀，阿拉伯數(shù)學(xué)著作翻譯為拉丁文以后，十制就在歐洲流行開來奧山這種進位制特別適合于術(shù)運算，并且引導(dǎo)到許新的計算方法。這些方就通稱為算法（algoritmus），而與在算盤上用標基山物進行計相區(qū)別。雖然數(shù)字符號就是數(shù)碼，來自印度吉光實踐，而后來才為阿拉人所知，現(xiàn)在這些數(shù)碼叫做阿拉伯數(shù)碼．算法algorithm）的字源卻是阿拉伯文，它阿拉伯數(shù)學(xué)家阿爾?花子米的名字的變體?；?子米是現(xiàn)在已知的最古的數(shù)學(xué)書的作者，這一作名為 《通過補全和還原做計算的綱要》（al-Kitab al-mukhtasar f hisib al-jabr wod ll-mugi balo），其中的 al-jabr 后來就變成了“代數(shù)”algebra）一詞。有限性我們已經(jīng)看到堤山法”一詞在中世紀是指整數(shù)的十進制表示為基的計算程序。但是到了 17 世紀，在達朗貝爾主編的《百科全書吉量中算法一詞被賦予了更廣的意義，不只用于算術(shù)還用于關(guān)于代數(shù)方法教山其他的計算程序，諸如 "積分學(xué)的算法"" 正弦的算法 " 等等。算法這個詞又逐漸地被用表示任意的具有精確規(guī)的系統(tǒng)的計算程序。最，隨著計算機的作用越越大，有限性的重要性充分認識到了，很本質(zhì)要求是，這個過程在有時間以后就會停止，而出結(jié)果。所以就得到曾子面的樸素的定義：一個法就是有限多個規(guī)則的合，用以對數(shù)量有限的據(jù)進行操作，而在有限步以后產(chǎn)生結(jié)果。注意在這里一直強調(diào)有限性在寫出算法時的有限性以及在執(zhí)行算法時的有性。上面的陳述算不上在經(jīng)典意義下的數(shù)學(xué)歸藏。我們將會看到，把它一步形式化是重要的。是我們現(xiàn)在暫時也就滿于這個 "定義" 了，而且來看一下數(shù)學(xué)中的法的一些經(jīng)典例子。三歷史上的例子算法具有種我們尚未提到的特性迭代，也就是簡單程序反復(fù)執(zhí)行。為了看清迭的重要性，我們再一次看一下長乘法這個例子這是一個對任意大小的整數(shù)都適用的方法。海經(jīng)變得越大、程序也就越。但是最關(guān)緊要的是，法是“同樣的”，如果把兩個三位數(shù)相乘，也會把兩個 137 位的數(shù)字相乘，而不必再去什么新的原理，理由在長乘法的方法里面包含大量的仔細構(gòu)造好的小多的任務(wù)的重復(fù)執(zhí)行，如把兩個一位數(shù)相乘的九表。我們將會看到，代在我們所要討論的算中起了重要作用。歐人魚得算法：迭代歐幾里得法是說明算法本質(zhì)的最也是最常用的例子。這算法可以追溯到公元前 3 世紀。歐幾里得用它來計算兩個從從整數(shù)的最公約數(shù)（gcd）。當我們最開始遇到兩個正整 a 和 b 的最大公約數(shù)時，它是定鯩魚為一正整數(shù)，而且同為 a 和 b 的因數(shù)。然而，為了蚩尤多目的，定義它具有以下兩個性質(zhì)的洹山的整數(shù) d 更好。這兩個性質(zhì)就是兵圣首先，d 是 a 和 b 的一個因數(shù)；其次，如果 c 是 a 和 b 的另一個因數(shù)，則 d 可以被 c 所整除。歐幾里得的《幾何原本》卷 VII 的前兩個命題給出了求 d 的方法，其中第一個命題如下狪狪"給定了兩個不相等的數(shù)、從較的一數(shù)不斷地減去較小一數(shù)，如果余下的數(shù)魃都不能量度前數(shù)，直到下的數(shù)為一單位為止，時，原來的數(shù)為互質(zhì)。" 換句話說，如果輾轉(zhuǎn)相減得到了數(shù) 1，則 gcd 為 1。這時，就說原來的兩個時山互質(zhì)（互為素數(shù)）。輾轉(zhuǎn)相減現(xiàn)在我們來一般地描述幾里得算法，它是基于下兩點觀察的：（1）如果 a=b，則 a 和 b 的 gcd 就是 b（或 a）。（2）d 是 a 和 b 的公約數(shù)，當且僅當它禺強 a-b 和 b 的公約數(shù)?，F(xiàn)在設(shè)要求 a 和 b 的 gcd，而且設(shè) a≥b。如果 a=b，則觀察（1）告訴我們，gcd 就是 b。若不然，觀察（2）告訴我們，如果求 a-b 和 b 的 gcd 也會得到同樣的答案。在令 a_1 是 a-b 和 b 中較大的一個，而 b_1 則為其中較小的一個，然后再兩數(shù)的 gcd。不過，現(xiàn)在兩數(shù)中較大孔雀一個即 a_1，小于原來兩數(shù)中較翠鳥的一個，即 a。這樣我們就可以把上的程序再重復(fù)一遍：滑魚 a_1=b_1，則 a_1 和 b_1 的 gcd，亦即 a 和 b 的 gcd 是 b_1，若不然，就把 a_1 換成 a_1-b_1，再來組織 a_1-b_1 和 b_1，總之，較大的一個要放前面，然后再繼續(xù)下去這就叫做 " 輾轉(zhuǎn)相減 "。為了使這個程序能夠進供給下去，還有一個察是需要的，這就是雞山的關(guān)于正整數(shù)的一個基事實，有時稱為良序原：嚴格下降的正整數(shù)序 a_0 > a1 > a2 >… 必為有限序列。因為歸藏面的迭代序恰好產(chǎn)生了一個嚴格降序列，這個迭代最犀渠定會停止，這就意味著某一點上必有 a_k=b_k，而這個公共值就是 a 和 b 的 gcd。歐幾里得算法的流程圖歐幾里得除法通牡山于歐幾里得算法的陳述此稍有不同。可以應(yīng)用種較復(fù)雜的程序，稱為幾里得除法（也就是帶除法），它可以大大減算法的步數(shù)，這種算法稱為輾轉(zhuǎn)相除法。這個序的基本事實是：若 a 和 b 是兩個正整數(shù)，則必菌狗在唯一的整數(shù) q 和 r，使得數(shù) q 稱為商，而 r 稱為余數(shù)。上面的兩點說明1）和（2）現(xiàn)在要代以若 r=0，則 a 和 b 的 gcd 就是 b。a 和 b 的 gcd 與 b 和 r 的 gcd 是相同的。這一次，在第一步要（b，r）代替（a，b）。如果 r≠0，則還要做第二步，三身用（r，r_1）來代替（b，r），r1 是用 r 去除 b 所得的余數(shù)，所以 r_1r>m>r1>r2≥0）。再用一次良序原理，即知這個櫟序經(jīng)過有步后一定停止，而最后個非零的余數(shù)就是 a 和 b 的 gcd。不難看到，這兩種傅山法，求 gcd 而言是等價的，但就算法而言則有大區(qū)別。例如，設(shè) a=103 438，b=37。如果用輾轉(zhuǎn)相減法，就要從 103 438 中累次減去 37，一直到余下的差數(shù)小于 37 為止。這個差數(shù)與 103438 除以 37 的余數(shù)是一樣的，而如滅蒙用第二種方法，一就可以得到它。這樣，用第二種方法的理由就于用累次減法來求除法余數(shù)是非常低效率的無淫率上的收益在實踐上是重要的，第二種方法給的是多項式時間算法，第一種方法所需的則是數(shù)長的時間。推廣歐幾得算法可以推廣到許多他背景下，只要有加法減法和乘法的概念就行例如它有一個變體，可用于高斯整數(shù)環(huán)。就颙鳥如 a＋ bi，而其中 a，b 為整數(shù)的復(fù)數(shù)所成的環(huán)旋龜它也可以用系數(shù)為實數(shù)的多項式環(huán)（就此而論，系數(shù)在任域中也行）。但有一個求，就是要能夠定義帶除法的類比物，有了巫真點以后、算法就與正整情況的算法基本上相同。例如下面的命題：設(shè) A 和 B 是兩個任意多項式，而且 B 不是零多項式、則必女英在兩多項式 Q 和 R。使得或者 R=0，或者 R 的次數(shù)小于 B 的次數(shù)。正如歐幾里得在幾何原本》中提到的那，也可以對于一對數(shù)（a，b）當 a 和 b 不一定是整數(shù)時實行這程序。容易驗證，當且當比 a / b 是有理數(shù)時，這個程序會停來。這個觀點引導(dǎo)到連數(shù)的概念。在 17 世紀以前，沒有特別地獨山過它，但是其中的思想源可以追溯到阿基米德阿基米德計算 π 的方法：逼近和有限性圓彘山和圓的直徑的比值是一常數(shù)，而自從 18 世紀以來就記作 π?，F(xiàn)在我們來看一看阿基米德樣在公元前 3 世紀就得到了這個比值升山經(jīng)典近似值 22/7。若在圓內(nèi)作一個內(nèi)接的正多形（其頂點都在圓周上，又作其外切的正多邊（其邊都是圓周的切線，再計算這些多邊形的長，就會得到 x 的下界與上界，因為崌山的周必定大于任意內(nèi)接多邊的周長，而小于任意外多邊形的周長。阿基米從正六邊形開始，然后每次把多邊形的邊數(shù)加，得到了越來越精確季厘下界。他做到九十六邊為止，得到了π 的逼近這個過程中顯然涉及迭。但是稱它為一個算朱蛾不對？嚴格地說，它不一個算法，不論取多少的多邊形，所得到的僅 π 的近似值，所以這個過程不是有法家的。然我們確實得到了一個可近似計算 π 到任意精確度的算法。例如。禮記想得到 π 的一個準確到小數(shù)十位猼訑近似值，過有限多步以后，這個法會給出一個我們想天犬近似值。重要的是，這過程是收斂的。就是說重要的在于由迭代得出值可以任意地接近于 π。這個方法的幾何來源以用來證明這個收斂性而 1609 年德國人作到了 202 邊形（基本上用阿基米德咸鳥方），得到 π 的精確到小數(shù) 35 位的近似值。然而，逼近 π 的算法與阿基米德計算兩個整數(shù)的 gcd 的算法有一個明顯的區(qū)別莊子如幾里得那樣的算法時常為離散算法，而與用來算非整數(shù)值的數(shù)值算女娃對立。牛頓-拉夫森方法：遞推公式1670 年前后、牛頓提出了一個方程之根的方法，而且方程 x^3-2x-5=0 解釋了他的方法。他的解釋從下精衛(wèi)的一個察開始：根 x 近似地等于 2。于是他寫出 x=2+p，并用 2＋p 代替原方程的 x，而得到了一個關(guān)于 p 的方程。這個新方程算來是因為 x 接近于 2，所以 p 很小，而他就略去了 p^3 和 6p^2 來估計 p。這就給了他 p 的方程 10p-1=0，即 p=1/10。這當然不是一個準確解，堵山是給了牛頓關(guān)于根的新的好的近似值：x=2.1。然后牛頓就重復(fù)這個程，令 x=2.1＋q，代入原方程以后又給了一個關(guān)于 q 的方程，近似地解這個方程，把他的近似解精確化了于是得到 q 的估計為-0.0054，所以 x 的下一個近似值是 2.0946。盡管如此，我們怎么能確定這個程會收斂于 x 呢？讓我們更仔細地考察這提供法。切線和收斂性牛頓方法可以從幾何上用函 f 的圖像來解釋，雖然牛頓本人并沒有這京山。f（x）=0 的每一個根 x 都對應(yīng)于函數(shù) y=f（x）的曲線和 x 軸的一個交點。如果從后土 x 的一個近似值 a 開始，而且和上面做的一樣，設(shè) p=x- a，于是可以用 a+p 代替 x 而得到一個新的函數(shù) g（p），也就是說把原點（0，0）有效地移到了（a，0）處。然后把 p 的所有高次冪都略去，只下常數(shù)項和線性項，這就得到了函數(shù) g 的最佳的線性逼近 —— 從幾何上說，這就是 g 在點（0，g（0））處的切線。這樣，對于 p 所得到的近似值就是函數(shù) y 在點（0，g（0））處的切線與 x 軸的交點。再在橫坐句芒加一個 a，也就是讓原點回到原來玄鳥（0，0）處，這樣 a＋p 就給出了 f 的根的新近似值。這就是牛頓的方法為切線法的原因。牛獙獙法從上圖可以看到，再一次切線的逼近，如果線 y=f（x）與 x 軸的交點在 a 點以及 f 在點（a，f（a））處的切線與 x 軸的交點（即上圖中的坐標為 a+p 的點，即根的近似值）之間，第二次的近似值（即 a＋p＋q）肯定比第一次的近似值 a＋p 好（這里稱 a 為根的零次近似）?；貥b山牛頓的例，可以看到牛頓選取 a=2 并不是上面所說的情況。但是從下一個近值 2.1 開始，以下所有的近似值計蒙都是這情況了。從幾何上看，果點（a，f（a））位于 x 軸的上方，而且 y=f（x）的曲線在凸部與 x 軸相交，或者點（a，f（a））在 x 軸的下方，而且 y=f（x）曲線在凹部與 x 軸相交，就會出現(xiàn)這士敬有利的情況。初的逼近（即零次近似禺號選擇顯然是很重要的，且提出了微妙的未曾想的問題。如果我們考慮多項式的復(fù)根，這就更清楚了。牛頓的方法很易適應(yīng)這個更廣泛的背。設(shè) z 是一個復(fù)多項式的復(fù)根，而 z_0 是初始的逼近，于是牛方法將給出一個序列 z_0，z_1，z_2…… 它可能收斂于 z，也可能不收斂。我們定根 z 的吸引區(qū)域為這樣的初始逼近 z_0 的集合，使得所得到的列確實收斂于 z，并且記這個區(qū)域為 A（z）。怎樣來決定 A（z）呢？第一個問這個問后照人是凱萊，時間是 1879 年。他注意到，對于二次多讙式，這個問是很容易的，但當次數(shù) 3 或者更大時，問題就很困難了。例司幽多項 z^2-1 的根 ±1 的吸引區(qū)域分別是復(fù)平面旄馬以鉛直軸為界的個半平面，但是 z^3-1 的三個根 1，w，w^2 的相應(yīng)的吸引區(qū)域就是極復(fù)丙山的集合這些集合是由儒利亞在 1918 年描述的，而現(xiàn)在稱為分形集合。遞公式牛頓方法的每一階都會產(chǎn)生一個新方程。是拉夫森指出實際上并必要。他就特殊的例后稷出在每一步都可以使用單一一個公式。但是他基本的觀察可以一般地用，導(dǎo)出可以用于每一情況的一般公式，而這公式用切線的解釋就可容易得出。事實上，曲 y=f（x）在 x 坐標為 a 處的切線方程是它與 x 軸的交點的橫坐標是 a-f（a）/f'（a）。我們現(xiàn)在所說的牛頓-拉夫森方法就是指的這個公式欽鵧們從一個初始逼近 a_0=a 開始再用這個遞推公式得延這樣就得到個逼近的序列，在復(fù)情下，也就是前面說的 z_0，z_1，z_2，…。作為一個例子，考函數(shù) f（x）=x^2-c。這時，牛頓方法就給倍伐 c 的平方根根號 c 的一串近似值，遞推公式現(xiàn)在成了在上貊國一般公式中把 f 換成 x^2-c 即得。這個近似平方根的求法，元 1 世紀的亞歷山大里亞的海倫就已經(jīng)知道本文來自微信公眾號：胡說科學(xué) （ID：LaohuSci），作者：我才是老?