04 最優化方法

推薦書籍：

《最優化方法》 李元科

基本概念：

目標函式     無約束優化   約束優化 

 迭代下降法 

1）圖解法：

 2）迭代下降法

導數是函式在一個點上變化率的描述 。 偏導數是函式在一點沿座標方向的變化率 ，方向導數是函式在一點沿任意方向的變化率 ，梯度則是函式在一個點上變化率最大的方向導數 。 函式在一個點上沿任意方向的方向導數等於函式在該點的梯度在該方向上的投影 。

方向導數：

 梯度定義：

無約束優化 ： 

約束優化： 

梯度下降法（看一階導數）：

牛頓法（二階導數）：

啟發式演算法：

遺傳演算法：模擬退火演算法：蟻群演算法：

模擬退火演算法：

參看：
http://www.cnblogs.com/ranjiewen/p/6084052.html

from random import randint

def flip(segs, pos):

    return segs[:pos] + str(1-int(segs[pos])) + segs[pos+1:]

def flip_n(segs, n):

    for i in range(n):

        segs = flip(segs, randint(0, len(segs)-1))

    return segs

def anneal(text, segs, iterations, cooling_rate):

    temperature = float(len(segs))

    while temperature > 0.5:

        best_segs, best = segs, evaluate(text, segs)

        for i in range(iterations):

            guess = flip_n(segs, int(round(temperature,0)))

            score = evaluate(text, guess)

            if score < best:

                best, best_segs = score, guess

        score, segs = best, best_segs

        temperature = temperature / cooling_rate

        print(evaluate(text, segs), segment(text, segs))

    print()

    return segs

執行示例：

text = "doyouseethekittyseethedoggydoyoulikethekittylikethedoggy"

seg1 = "0000000000000001000000000010000000000000000100000000000"

anneal(text, seg1, 5000, 1.2)