非常有必要看一看:


漫画:什么是动态规划?

详解动态规划——邹博讲动态规划



一、基本概念

    动态规划过程是:每次决策依赖于当前状态,又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的,所以,这种多阶段最优化决策解决问题的过程就称为动态规划。

二、基本思想与策略

    基本思想与分治法类似,也是将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。在求解任一子问题时,列出各种可能的局部解,通过决策保留那些有可能达到最优的局部解,丢弃其他局部解。依次解决各子问题,最后一个子问题就是初始问题的解。

    由于动态规划解决的问题多数有重叠子问题这个特点,为减少重复计算,对每一个子问题只解一次,将其不同阶段的不同状态保存在一个二维数组中。

适合于用动态规划法求解的问题,经分解后得到的子问题往往不是互相独立的(即下一个子阶段的求解是建立在上一个子阶段的解的基础上,进行进一步的求解)。

三、适用的情况

能采用动态规划求解的问题的一般要具有3个性质:

    (1) 最优化原理:如果问题的最优解所包含的子问题的解也是最优的,就称该问题具有最优子结构,即满足最优化原理。

    (2) 无后效性:即某阶段状态一旦确定,就不受这个状态以后决策的影响。也就是说,某状态以后的过程不会影响以前的状态,只与当前状态有关。

   (3)有重叠子问题:即子问题之间是不独立的,一个子问题在下一阶段决策中可能被多次使用到。(该性质并不是动态规划适用的必要条件,但是如果没有这条性质,动态规划算法同其他算法相比就不具备优势)

 四、求解的基本步骤

动态规划所处理的问题是一个多阶段决策问题,一般由初始状态开始,通过对中间阶段决策的选择,达到结束状态。这些决策形成了一个决策序列,同时确定了完成整个过程的一条活动路线(通常是求最优的活动路线)。如图所示。动态规划的设计都有着一定的模式,一般要经历以下几个步骤。

初始状态→│决策1│→│决策2│→…→│决策n│→结束状态

                      图1 动态规划决策过程示意图

划分阶段:按照问题的时间或空间特征,把问题分为若干个阶段。在划分阶段时,注意划分后的阶段一定要是有序的或者是可排序的,否则问题就无法求解。

确定状态和状态变量:将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然,状态的选择要满足无后效性。

确定决策并写出状态转移方程:因为决策和状态转移有着天然的联系,状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策,状态转移方程也就可写出。但事实上常常是反过来做,根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移方程。

寻找边界条件:给出的状态转移方程是一个递推式,需要一个递推的终止条件或边界条件。

阶段、状态和状态转移决策确定了,就可以写出状态转移方程(包括边界条件)。

实际应用中可以按以下几个简化的步骤进行设计:

    (1)分析最优解的性质,并刻画其结构特征。

    (2)递归的定义最优解。

    (3)以自底向上或自顶向下的记忆化方式(备忘录法)计算出最优值。

    (4)根据计算最优值时得到的信息,构造问题的最优解

 

五、算法实现的说明

    动态规划的主要难点在于理论上的设计,也就是上面4个步骤的确定,一旦设计完成,实现部分就会非常简单。

最重要的就是确定动态规划三要素:

    (1)问题的阶段 

每个阶段的状态

    (3)从前一个阶段转化到后一个阶段之间的递推关系。

     递推关系必须是从次小的问题开始到较大的问题之间的转化,从这个角度来说,动态规划往往可以用递归程序来实现,不过因为递推可以充分利用前面保存的子问题的解来减少重复计算,所以对于大规模问题来说,有递归不可比拟的优势,这也是动态规划算法的核心之处。

整个求解过程就可以用一个最优决策表来描述,最优决策表是一个二维表,其中行表示决策的阶段,列表示问题状态,表格需要填写的数据一般对应此问题的在某个阶段某个状态下的最优值(如最短路径,最长公共子序列,最大价值等),填表的过程就是根据递推关系,从1行1列开始,以行或者列优先的顺序,依次填写表格,最后根据整个表格的数据通过简单的取舍或者运算求得问题的最优解。

f(n,m)=max{f(n-1,m), f(n-1,m-w[n])+P(n,m)}


六、动态规划算法基本框架



代码


1 
   for(j=1; j<=m; j=j+1) // 第一个阶段
 2   xn[j] = 初始值;
 3 
 4  for(i=n-1; i>=1; i=i-1)// 其他n-1个阶段
 5   for(j=1; j>=f(i); j=j+1)//f(i)与i有关的表达式
 6  xi[j]=j=max(或min){g(xi-1[j1:j2]), ......, g(xi-1[jk:jk+1])};
 8 
 9 t = g(x1[j1:j2]); // 由子问题的最优解求解整个问题的最优解的方案
10 
11 print(x1[j1]);
12 
13 for(i=2; i<=n-1; i=i+1)
15 { 
17  t = t-xi-1[ji];
18 
19  for(j=1; j>=f(i); j=j+1)
21  if(t=xi[ji])
23  break;
25 }


 

    首先,我们看一下这道题(此题目来源于北大POJ):

 数字三角形(POJ1163)

    

五大常用算法之二: 动态规划算法1_动态规划

    在上面的数字三角形中寻找一条从顶部到底边的路径,使得路径上所经过的数字之和最大。路径上的每一步都只能往左下或 右下走。只需要求出这个最大和即可,不必给出具体路径。 三角形的行数大于1小于等于100,数字为 0 - 99

    输入格式:

    5      //表示三角形的行数    接下来输入三角形

    7

    3   8

    8   1   0

    2   7   4   4

    4   5   2   6   5

    要求输出最大和

    接下来,我们来分析一下解题思路:

    首先,肯定得用二维数组来存放数字三角形

    然后我们用D( r, j) 来表示第r行第 j 个数字(r,j从1开始算)

    我们用MaxSum(r, j)表示从D(r,j)到底边的各条路径中,最佳路径的数字之和。

    因此,此题的最终问题就变成了求 MaxSum(1,1)

    当我们看到这个题目的时候,首先想到的就是可以用简单的递归来解题:

    D(r, j)出发,下一步只能走D(r+1,j)或者D(r+1, j+1)。故对于N行的三角形,我们可以写出如下的递归式:   




1. if ( r == N)                  
2.     MaxSum(r,j) = D(r,j)    
3. else        
4.     MaxSum( r, j) = Max{ MaxSum(r+1,j), MaxSum(r+1,j+1) } + D(r,j)


    根据上面这个简单的递归式,我们就可以很轻松地写出完整的递归代码: 




1. #include <iostream>    
2. #include <algorithm>   
3. #define MAX 101    
4. using namespace std;   
5. int D[MAX][MAX];    
6. int n;    
7. int MaxSum(int i, int j){      
8. if(i==n)    
9. return D[i][j];      
10. int x = MaxSum(i+1,j);      
11. int y = MaxSum(i+1,j+1);      
12. return max(x,y)+D[i][j];    
13. }  
14. int main(){      
15. int i,j;      
16.     cin >> n;      
17. for(i=1;i<=n;i++)     
18. for(j=1;j<=i;j++)          
19.             cin >> D[i][j];      
20.     cout << MaxSum(1,1) << endl;    
21. }

 


    对于如上这段递归的代码,当我提交到POJ时,会显示如下结果:

    

五大常用算法之二: 动态规划算法1_状态转移_02

    对的,代码运行超时了,为什么会超时呢?

    答案很简单,因为我们重复计算了,当我们在进行递归时,计算机帮我们计算的过程如下图:

    

五大常用算法之二: 动态规划算法1_状态转移_03

    就拿第三行数字1来说,当我们计算从第2行的数字3开始的MaxSum时会计算出从1开始的MaxSum,当我们计算从第二行的数字8开始的MaxSum的时候又会计算一次从1开始的MaxSum,也就是说有重复计算。这样就浪费了大量的时间。也就是说如果采用递规的方法,深度遍历每条路径,存在大量重复计算。则时间复杂度为 2的n次方,对于 n = 100 行,肯定超时。 

    接下来,我们就要考虑如何进行改进,我们自然而然就可以想到如果每算出一个MaxSum(r,j)就保存起来,下次用到其值的时候直接取用,则可免去重复计算。那么可以用n方的时间复杂度完成计算。因为三角形的数字总数是 n(n+1)/2

    根据这个思路,我们就可以将上面的代码进行改进,使之成为记忆递归型的动态规划程序: 


    1. #include <iostream>    
    2. #include <algorithm>   
    3. using namespace std;  
    4.    
    5. #define MAX 101  
    6.     
    7. int D[MAX][MAX];      
    8. int n;    
    9. int maxSum[MAX][MAX];  
    10.    
    11. int MaxSum(int i, int j){        
    12. if( maxSum[i][j] != -1 )           
    13. return maxSum[i][j];        
    14. if(i==n)     
    15.         maxSum[i][j] = D[i][j];       
    16. else{      
    17. int x = MaxSum(i+1,j);         
    18. int y = MaxSum(i+1,j+1);         
    19.         maxSum[i][j] = max(x,y)+ D[i][j];       
    20.     }       
    21. return maxSum[i][j];   
    22. }   
    23. int main(){      
    24. int i,j;      
    25.     cin >> n;      
    26. for(i=1;i<=n;i++)     
    27. for(j=1;j<=i;j++) {         
    28.             cin >> D[i][j];         
    29.             maxSum[i][j] = -1;     
    30.         }      
    31.     cout << MaxSum(1,1) << endl;   
    32. }


        当我们提交如上代码时,结果就是一次AC

        

    五大常用算法之二: 动态规划算法1_动态规划_04



        虽然在短时间内就AC了。但是,我们并不能满足于这样的代码,因为递归总是需要使用大量堆栈上的空间,很容易造成栈溢出,我们现在就要考虑如何把递归转换为递推,让我们一步一步来完成这个过程。

        我们首先需要计算的是最后一行,因此可以把最后一行直接写出,如下图:

        

    五大常用算法之二: 动态规划算法1_状态转移_05

        现在开始分析倒数第二行的每一个数,现分析数字2,2可以和最后一行4相加,也可以和最后一行的5相加,但是很显然和5相加要更大一点,结果为7,我们此时就可以将7保存起来,然后分析数字7,7可以和最后一行的5相加,也可以和最后一行的2相加,很显然和5相加更大,结果为12,因此我们将12保存起来。以此类推。。我们可以得到下面这张图:

        

    五大常用算法之二: 动态规划算法1_递归_06

        然后按同样的道理分析倒数第三行和倒数第四行,最后分析第一行,我们可以依次得到如下结果:

        

    五大常用算法之二: 动态规划算法1_状态转移_07

        

    五大常用算法之二: 动态规划算法1_状态转移_08

        上面的推导过程相信大家不难理解,理解之后我们就可以写出如下的递推型动态规划程序: 


    1. #include <iostream>    
    2. #include <algorithm>   
    3. using namespace std;   
    4.   
    5. #define MAX 101    
    6.   
    7. int D[MAX][MAX];     
    8. int n;    
    9. int maxSum[MAX][MAX];   
    10. int main(){      
    11. int i,j;      
    12.     cin >> n;      
    13. for(i=1;i<=n;i++)     
    14. for(j=1;j<=i;j++)          
    15.             cin >> D[i][j];     
    16. for( int i = 1;i <= n; ++ i )       
    17.         maxSum[n][i] = D[n][i];     
    18. for( int i = n-1; i>= 1;  --i )       
    19. for( int j = 1; j <= i; ++j )           
    20.             maxSum[i][j] = max(maxSum[i+1][j],maxSum[i+1][j+1]) + D[i][j];      
    21.     cout << maxSum[1][1] << endl;    
    22. }

         我们的代码仅仅是这样就够了吗?当然不是,我们仍然可以继续优化,而这个优化当然是对于空间进行优化,其实完全没必要用二维maxSum数组存储每一个MaxSum(r,j),只要从底层一行行向上递推,那么只要一维数组maxSum[100]即可,即只要存储一行的MaxSum值就可以。

         对于空间优化后的具体递推过程如下:

        

    五大常用算法之二: 动态规划算法1_递归_09

        

    五大常用算法之二: 动态规划算法1_动态规划_10

        

    五大常用算法之二: 动态规划算法1_动态规划_11

        

    五大常用算法之二: 动态规划算法1_状态转移_12

        

    五大常用算法之二: 动态规划算法1_状态转移_13

        

    五大常用算法之二: 动态规划算法1_动态规划_14

        接下里的步骤就按上图的过程一步一步推导就可以了。进一步考虑,我们甚至可以连maxSum数组都可以不要,直接用D的第n行直接替代maxSum即可。但是这里需要强调的是:虽然节省空间,但是时间复杂度还是不变的。

        依照上面的方式,我们可以写出如下代码:   


    1. #include <iostream>    
    2. #include <algorithm>   
    3. using namespace std;   
    4.   
    5. #define MAX 101    
    6.   
    7. int D[MAX][MAX];    
    8. int n;   
    9. int * maxSum;   
    10.   
    11. int main(){      
    12. int i,j;      
    13.     cin >> n;      
    14. for(i=1;i<=n;i++)     
    15. for(j=1;j<=i;j++)          
    16.             cin >> D[i][j];     
    17. //maxSum指向第n行      
    18. for( int i = n-1; i>= 1;  --i )       
    19. for( int j = 1; j <= i; ++j )         
    20.             maxSum[j] = max(maxSum[j],maxSum[j+1]) + D[i][j];      
    21.     cout << maxSum[1] << endl;    
    22. }


        接下来,我们就进行一下总结:

        递归到动规的一般转化方法

        递归函数有n个参数,就定义一个n维的数组,数组的下标是递归函数参数的取值范围,数组元素的值是递归函数的返回值,这样就可以从边界值开始, 逐步填充数组,相当于计算递归函数值的逆过程。

        动规解题的一般思路

        1. 将原问题分解为子问题

    •     把原问题分解为若干个子问题,子问题和原问题形式相同或类似,只不过规模变小了。子问题都解决,原问题即解决(数字三角形例)。
    •     子问题的解一旦求出就会被保存,所以每个子问题只需求 解一次。

        2.确定状态

    •     在用动态规划解题时,我们往往将和子问题相关的各个变量的一组取值,称之为一个“状 态”。一个“状态”对应于一个或多个子问题, 所谓某个“状态”下的“值”,就是这个“状 态”所对应的子问题的解。
    •     所有“状态”的集合,构成问题的“状态空间”。“状态空间”的大小,与用动态规划解决问题的时间复杂度直接相关。 在数字三角形的例子里,一共有N×(N+1)/2个数字,所以这个问题的状态空间里一共就有N×(N+1)/2个状态。

        整个问题的时间复杂度是状态数目乘以计算每个状态所需时间。在数字三角形里每个“状态”只需要经过一次,且在每个状态上作计算所花的时间都是和N无关的常数。

        3.确定一些初始状态(边界状态)的值

        以“数字三角形”为例,初始状态就是底边数字,值就是底边数字值。

        4. 确定状态转移方程

         定义出什么是“状态”,以及在该“状态”下的“值”后,就要找出不同的状态之间如何迁移――即如何从一个或多个“值”已知的 “状态”,求出另一个“状态”的“值”(递推型)。状态的迁移可以用递推公式表示,此递推公式也可被称作“状态转移方程”。

        数字三角形的状态转移方程:

        

    五大常用算法之二: 动态规划算法1_递归_15


      

        能用动规解决的问题的特点

        1) 问题具有最优子结构性质。如果问题的最优解所包含的 子问题的解也是最优的,我们就称该问题具有最优子结 构性质。

        2) 无后效性。当前的若干个状态值一旦确定,则此后过程的演变就只和这若干个状态的值有关,和之前是采取哪种手段或经过哪条路径演变到当前的这若干个状态,没有关系。

    数据结构与算法