122 演算法的時間複雜度和空間複雜度詳解

通常，對於一個給定的演算法，我們要做 兩項分析。第一是從數學上證明演算法的正確性，這一步主要用到形式化證明的方法及相關推理模式，如迴圈不變式、數學歸納法等。而在證明演算法是正確的基礎上，第二部就是分析演算法的時間複雜度。演算法的時間複雜度反映了程式執行時間隨輸入規模增長而增長的量級，在很大程度上能很好反映出演算法的優劣與否。因此，作為程式設計師，掌握基本的演算法時間複雜度分析方法是很有必要的。
       演算法執行時間需通過依據該演算法編制的程式在計算機上執行時所消耗的時間來度量。而度量一個程式的執行時間通常有兩種方法。

一、事後統計的方法

        這種方法可行，但不是一個好的方法。該方法有兩個缺陷：一是要想對設計的演算法的執行效能進行評測，必須先依據演算法編制相應的程式並實際執行；二是所得時間的統計量依賴於計算機的硬體、軟體等環境因素，有時容易掩蓋演算法本身的優勢。

二、事前分析估算的方法

        因事後統計方法更多的依賴於計算機的硬體、軟體等環境因素，有時容易掩蓋演算法本身的優劣。因此人們常常採用事前分析估算的方法。

在編寫程式前，依據統計方法對演算法進行估算。一個用高階語言編寫的程式在計算機上執行時所消耗的時間取決於下列因素：

      (1). 演算法採用的策略、方法；(2). 編譯產生的程式碼質量；(3). 問題的輸入規模；(4).  機器執行指令的速度。

     一個演算法是由控制結構（順序、分支和迴圈3種）和原操作（指固有資料型別的操作）構成的，則演算法時間取決於兩者的綜合效果。為了便於比較同一個問題的不同演算法，通常的做法是，從演算法中選取一種對於所研究的問題（或演算法型別）來說是基本操作的原操作，以該基本操作的重複執行的次數作為演算法的時間量度。

1、時間複雜度 
（1）時間頻度 一個演算法執行所耗費的時間，從理論上是不能算出來的，必須上機執行測試才能知道。但我們不可能也沒有必要對每個演算法都上機測試，只需知道哪個演算法花費的時間多，哪個演算法花費的時間少就可以了。並且一個演算法花費的時間與演算法中語句的執行次數成正比例，哪個演算法中語句執行次數多，它花費時間就多。一個演算法中的語句執行次數稱為語句頻度或時間頻度。記為T(n)。
（2）時間複雜度 在剛才提到的時間頻度中，n稱為問題的規模，當n不斷變化時，時間頻度T(n)也會不斷變化。但有時我們想知道它變化時呈現什麼規律。為此，我們引入時間複雜度概念。 一般情況下，演算法中基本操作重複執行的次數是問題規模n的某個函式，用T(n)表示，若有某個輔助函式f(n),使得當n趨近於無窮大時，T(n)/f(n)的極限值為不等於零的常數，則稱f(n)是T(n)的同數量級函式。記作T(n)=Ｏ(f(n)),稱Ｏ(f(n)) 為演算法的漸進時間複雜度，簡稱時間複雜度。

       另外，上面公式中用到的 Landau符號其實是由德國數論學家保羅·巴赫曼（Paul Bachmann）在其1892年的著作《解析數論》首先引入，由另一位德國數論學家艾德蒙·朗道（Edmund Landau）推廣。Landau符號的作用在於用簡單的函式來描述複雜函式行為，給出一個上或下（確）界。在計算演算法複雜度時一般只用到大O符號，Landau符號體系中的小o符號、Θ符號等等比較不常用。這裡的O，最初是用大寫希臘字母，但現在都用大寫英語字母O；小o符號也是用小寫英語字母o，Θ符號則維持大寫希臘字母Θ。
        T (n) = Ο(f (n)) 表示存在一個常數C，使得在當n趨於正無窮時總有 T (n) ≤ C * f(n)。簡單來說，就是T(n)在n趨於正無窮時最大也就跟f(n)差不多大。也就是說當n趨於正無窮時T (n)的上界是C * f(n)。其雖然對f(n)沒有規定，但是一般都是取儘可能簡單的函式。例如，O(2n2+n +1) = O (3n2+n+3) = O (7n2 + n) = O ( n2 ) ，一般都只用O(n2)表示就可以了。注意到大O符號裡隱藏著一個常數C，所以f(n)裡一般不加係數。如果把T(n)當做一棵樹，那麼O(f(n))所表達的就是樹幹，只關心其中的主幹，其他的細枝末節全都拋棄不管。
        在各種不同演算法中，若演算法中語句執行次數為一個常數，則時間複雜度為O(1),另外，在時間頻度不相同時，時間複雜度有可能相同，如T(n)=n2+3n+4與T(n)=4n2+2n+1它們的頻度不同，但時間複雜度相同，都為O(n2)。 按數量級遞增排列，常見的時間複雜度有：常數階O(1),對數階O(log2n),線性階O(n), 線性對數階O(nlog2n),平方階O(n2)，立方階O(n3),...， k次方階O(nk),指數階O(2n)。隨著問題規模n的不斷增大，上述時間複雜度不斷增大，演算法的執行效率越低。

   從圖中可見，我們應該儘可能選用多項式階O(nk)的演算法，而不希望用指數階的演算法。

      常見的演算法時間複雜度由小到大依次為：Ο(1)＜Ο(log2n)＜Ο(n)＜Ο(nlog2n)＜Ο(n2)＜Ο(n3)＜…＜Ο(2n)＜Ο(n!)

       一般情況下，對一個問題（或一類演算法）只需選擇一種基本操作來討論演算法的時間複雜度即可，有時也需要同時考慮幾種基本操作，甚至可以對不同的操作賦予不同的權值，以反映執行不同操作所需的相對時間，這種做法便於綜合比較解決同一問題的兩種完全不同的演算法。

（3）求解演算法的時間複雜度的具體步驟是：

　　⑴ 找出演算法中的基本語句；

　　演算法中執行次數最多的那條語句就是基本語句，通常是最內層迴圈的迴圈體。

　　⑵ 計算基本語句的執行次數的數量級；

　　只需計算基本語句執行次數的數量級，這就意味著只要保證基本語句執行次數的函式中的最高次冪正確即可，可以忽略所有低次冪和最高次冪的係數。這樣能夠簡化演算法分析，並且使注意力集中在最重要的一點上：增長率。

　　⑶ 用大Ο記號表示演算法的時間效能。

　　將基本語句執行次數的數量級放入大Ο記號中。

　　如果演算法中包含巢狀的迴圈，則基本語句通常是最內層的迴圈體，如果演算法中包含並列的迴圈，則將並列迴圈的時間複雜度相加。例如：

1. for (i=1; i<=n; i++)  
2.        x++;  
3. for (i=1; i<=n; i++)  
4.     　for (j=1; j<=n; j++)  
5.           x++;  

　　第一個for迴圈的時間複雜度為Ο(n)，第二個for迴圈的時間複雜度為Ο(n2)，則整個演算法的時間複雜度為Ο(n+n2)=Ο(n2)。

　　Ο(1)表示基本語句的執行次數是一個常數，一般來說，只要演算法中不存在迴圈語句，其時間複雜度就是Ο(1)。其中Ο(log2n)、Ο(n)、 Ο(nlog2n)、Ο(n2)和Ο(n3)稱為多項式時間，而Ο(2n)和Ο(n!)稱為指數時間。電腦科學家普遍認為前者（即多項式時間複雜度的演算法）是有效演算法，把這類問題稱為P（Polynomial,多項式）類問題，而把後者（即指數時間複雜度的演算法）稱為NP（Non-Deterministic Polynomial, 非確定多項式）問題。

        一般來說多項式級的複雜度是可以接受的，很多問題都有多項式級的解——也就是說，這樣的問題，對於一個規模是n的輸入，在n^k的時間內得到結果，稱為P問題。有些問題要複雜些，沒有多項式時間的解，但是可以在多項式時間裡驗證某個猜測是不是正確。比如問4294967297是不是質數？如果要直接入手的話，那麼要把小於4294967297的平方根的所有素數都拿出來，看看能不能整除。還好尤拉告訴我們，這個數等於641和6700417的乘積，不是素數，很好驗證的，順便麻煩轉告費馬他的猜想不成立。大數分解、Hamilton迴路之類的問題，都是可以多項式時間內驗證一個“解”是否正確，這類問題叫做NP問題。

（4）在計算演算法時間複雜度時有以下幾個簡單的程式分析法則:

(1).對於一些簡單的輸入輸出語句或賦值語句,近似認為需要O(1)時間

(2).對於順序結構,需要依次執行一系列語句所用的時間可採用大O下"求和法則"

求和法則:是指若演算法的2個部分時間複雜度分別為 T1(n)=O(f(n))和 T2(n)=O(g(n)),則 T1(n)+T2(n)=O(max(f(n), g(n)))

特別地,若T1(m)=O(f(m)), T2(n)=O(g(n)),則 T1(m)+T2(n)=O(f(m) + g(n))

(3).對於選擇結構,如if語句,它的主要時間耗費是在執行then字句或else字句所用的時間,需注意的是檢驗條件也需要O(1)時間

(4).對於迴圈結構,迴圈語句的執行時間主要體現在多次迭代中執行迴圈體以及檢驗迴圈條件的時間耗費,一般可用大O下"乘法法則"

乘法法則: 是指若演算法的2個部分時間複雜度分別為 T1(n)=O(f(n))和 T2(n)=O(g(n)),則 T1*T2=O(f(n)*g(n))

(5).對於複雜的演算法,可以將它分成幾個容易估算的部分,然後利用求和法則和乘法法則技術整個演算法的時間複雜度

另外還有以下2個運演算法則:(1) 若g(n)=O(f(n)),則O(f(n))+ O(g(n))= O(f(n))；(2) O(Cf(n)) = O(f(n)),其中C是一個正常數

 （5）下面分別對幾個常見的時間複雜度進行示例說明：

(1)、O(1)

        Temp=i; i=j; j=temp;                    

以上三條單個語句的頻度均為1，該程式段的執行時間是一個與問題規模n無關的常數。演算法的時間複雜度為常數階，記作T(n)=O(1)。注意：如果演算法的執行時間不隨著問題規模n的增加而增長，即使演算法中有上千條語句，其執行時間也不過是一個較大的常數。此類演算法的時間複雜度是O(1)。

(2)、O(n2)

2.1. 交換i和j的內容

1. sum=0；                 （一次）  
2. for(i=1;i<=n;i++)     （n+1次）  
3.    for(j=1;j<=n;j++) （n2次）  
4.     sum++；            （n2次）  

解：因為Θ(2n2+n+1)=n2（Θ即：去低階項，去掉常數項，去掉高階項的常參得到），所以T(n)= =O(n2)；

2.2.   

1. for (i=1;i<n;i++)  
2.  {   
3.      y=y+1;         ①     
4.      for (j=0;j<=(2*n);j++)      
5.         x++;         ②        
6.  }            

解： 語句1的頻度是n-1
          語句2的頻度是(n-1)*(2n+1)=2n2-n-1
          f(n)=2n2-n-1+(n-1)=2n2-2；

        又Θ(2n2-2)=n2
          該程式的時間複雜度T(n)=O(n2).  

　　一般情況下，對步進迴圈語句只需考慮迴圈體中語句的執行次數，忽略該語句中步長加1、終值判別、控制轉移等成分，當有若干個迴圈語句時，演算法的時間複雜度是由巢狀層數最多的迴圈語句中最內層語句的頻度f(n)決定的。     

(3)、O(n)                                                              

1. a=0;  
2.   b=1;                      ①  
3.   for (i=1;i<=n;i++) ②  
4.   {    
5.      s=a+b;　　　　③  
6.      b=a;　　　　　④    
7.      a=s;　　　　　⑤  
8.   }  

解： 語句1的頻度：2,        
           語句2的頻度： n,        
          語句3的頻度： n-1,        
          語句4的頻度：n-1,    
          語句5的頻度：n-1,                                  
          T(n)=2+n+3(n-1)=4n-1=O(n).
(4)、O(log2n)

1. i=1;     ①  
2. while (i<=n)  
3.   i=i*2; ②  

解： 語句1的頻度是1,  
          設語句2的頻度是f(n),   則：2^f(n)<=n;f(n)<=log2n    
          取最大值f(n)=log2n,
          T(n)=O(log2n )

(5)、O(n3) 

1. for(i=0;i<n;i++)  
2.    {    
3.       for(j=0;j<i;j++)    
4.       {  
5.          for(k=0;k<j;k++)  
6.             x=x+2;    
7.       }  
8.    }  

解：當i=m, j=k的時候,內層迴圈的次數為k當i=m時, j 可以取 0,1,...,m-1 , 所以這裡最內迴圈共進行了0+1+...+m-1=(m-1)m/2次所以,i從0取到n, 則迴圈共進行了: 0+(1-1)*1/2+...+(n-1)n/2=n(n+1)(n-1)/6所以時間複雜度為O(n3).

（5）常用的演算法的時間複雜度和空間複雜度

一個經驗規則：其中c是一個常量，如果一個演算法的複雜度為c 、 log2n 、n 、 n*log2n ,那麼這個演算法時間效率比較高 ，如果是2n ,3n ,n!，那麼稍微大一些的n就會令這個演算法不能動了，居於中間的幾個則差強人意。

       演算法時間複雜度分析是一個很重要的問題，任何一個程式設計師都應該熟練掌握其概念和基本方法，而且要善於從數學層面上探尋其本質，才能準確理解其內涵。

2、演算法的空間複雜度

        類似於時間複雜度的討論，一個演算法的空間複雜度(Space Complexity)S(n)定義為該演算法所耗費的儲存空間，它也是問題規模n的函式。漸近空間複雜度也常常簡稱為空間複雜度。
空間複雜度(Space Complexity)是對一個演算法在執行過程中臨時佔用儲存空間大小的量度。一個演算法在計算機儲存器上所佔用的儲存空間，包括儲存演算法本身所佔用的儲存空間，演算法的輸入輸出資料所佔用的儲存空間和演算法在執行過程中臨時佔用的儲存空間這三個方面。演算法的輸入輸出資料所佔用的儲存空間是由要解決的問題決定的，是通過參數列由呼叫函式傳遞而來的，它不隨本演算法的不同而改變。儲存演算法本身所佔用的儲存空間與演算法書寫的長短成正比，要壓縮這方面的儲存空間，就必須編寫出較短的演算法。演算法在執行過程中臨時佔用的儲存空間隨演算法的不同而異，有的演算法只需要佔用少量的臨時工作單元，而且不隨問題規模的大小而改變，我們稱這種演算法是“就地\"進行的，是節省儲存的演算法，如這一節介紹過的幾個演算法都是如此；有的演算法需要佔用的臨時工作單元數與解決問題的規模n有關，它隨著n的增大而增大，當n較大時，將佔用較多的儲存單元，例如將在第九章介紹的快速排序和歸併排序演算法就屬於這種情況。

如當一個演算法的空間複雜度為一個常量，即不隨被處理資料量n的大小而改變時，可表示為O(1)；當一個演算法的空間複雜度與以2為底的n的對數成正比時，可表示為0(10g2n)；當一個演算法的空I司複雜度與n成線性比例關係時，可表示為0(n).若形參為陣列，則只需要為它分配一個儲存由實參傳送來的一個地址指標的空間，即一個機器字長空間；若形參為引用方式，則也只需要為其分配儲存一個地址的空間，用它來儲存對應實參變數的地址，以便由系統自動引用實參變數。

【1】如果演算法的執行時間不隨著問題規模n的增加而增長，即使演算法中有上千條語句，其執行時間也不過是一個較大的常數。此類演算法的時間複雜度是O(1)。

x=91; y=100;
while(y>0) if(x>100) {x=x-10;y--;} else x++;
解答： T(n)=O(1)，
這個程式看起來有點嚇人，總共迴圈執行了1100次，但是我們看到n沒有?
沒。這段程式的執行是和n無關的，
就算它再迴圈一萬年，我們也不管他，只是一個常數階的函式

【2】當有若干個迴圈語句時，演算法的時間複雜度是由巢狀層數最多的迴圈語句中最內層語句的頻度f(n)決定的。

 x=1; 

for(i=1;i<=n;i++) 

        for(j=1;j<=i;j++)

           for(k=1;k<=j;k++)

               x++; 　　

該程式段中頻度最大的語句是(5)，內迴圈的執行次數雖然與問題規模n沒有直接關係，但是卻與外層迴圈的變數取值有關，而最外層迴圈的次數直接與n有關，因此可以從內層迴圈向外層分析語句(5)的執行次數：  則該程式段的時間複雜度為T(n)=O(n3/6+低次項)=O(n3)

【3】演算法的時間複雜度不僅僅依賴於問題的規模，還與輸入例項的初始狀態有關。

在數值A[0..n-1]中查詢給定值K的演算法大致如下：   

i=n-1;            

while(i>=0&&(A[i]!=k))       

      i--;        

return i;        

此演算法中的語句(3)的頻度不僅與問題規模n有關，還與輸入例項中A的各元素取值及K的取值有關: ①若A中沒有與K相等的元素，則語句(3)的頻度f(n)=n； ②若A的最後一個元素等於K,則語句(3)的頻度f(n)是常數0。

（5）時間複雜度評價效能 

有兩個演算法A1和A2求解同一問題，時間複雜度分別是T1(n)=100n2，T2(n)=5n3。（1）當輸入量n＜20時，有T1(n)＞T2(n)，後者花費的時間較少。（2）隨著問題規模n的增大，兩個演算法的時間開銷之比5n3/100n2=n/20亦隨著增大。即當問題規模較大時，演算法A1比演算法A2要有效地多。它們的漸近時間複雜度O(n2)和O(n3)從巨集觀上評價了這兩個演算法在時間方面的質量。在演算法分析時，往往對演算法的時間複雜度和漸近時間複雜度不予區分，而經常是將漸近時間複雜度T(n)=O(f(n))簡稱為時間複雜度，其中的f(n)一般是演算法中頻度最大的語句頻度。

 

其實生活很美好，只是你想的太多了。沒有，不會，有差距很正常，因為我不會！

轉載自：https://www.cnblogs.com/zknublx/p/5885840.html

好文章：https://www.jianshu.com/p/f4cca5ce055a

更多內容請關注微信訂閱號：phpstory