Python C4.5算法

ID3算法的作者昆蘭基于上面的不足，對ID3算法做了改進，這就是C4.5算法，也許你會問，為什么不叫ID4，ID5之類的名字呢?那是因為決策樹當(dāng)時太火爆了，它的ID3一出來，別人二次創(chuàng)新，很快就占了ID4，ID5，所以他另辟蹊徑，取名C4.5算法，后來的進化版為C4.5算法。

C4.5算法與ID3算法的區(qū)別主要是在于它在生產(chǎn)決策樹的過程中，使用信息增益比來進行特征選擇。

實際上，信息增益準(zhǔn)則對于可取值數(shù)目較多的屬性會有所偏好，為了減少這種偏好可能帶來的不利影響，C4.5決策樹算法不直接使用信息增益，而是使用“信息增益率”來選擇最優(yōu)劃分屬性，信息增益率定義為：

Gain_ratio(Y,X)=Gain(Y,X)/H(X)

其中，分子為信息增益，分母為屬性X的熵。

需要注意的是，增益率準(zhǔn)則對可取值數(shù)目較少的屬性有所偏好。所以一般這樣選取劃分屬性：先從候選屬性中找到信息增益高于平均水平的屬性，再從中選擇增益率最高的。

雖然C4.5改善了ID3算法的幾個問題，仍然有優(yōu)化的空間。

1，由于決策樹算法非常容易過擬合，因此對于生成的決策樹必須要進行剪枝。剪枝的算法有非常多，C4.5的剪枝方法有優(yōu)化的空間。思路主要有兩種：一種是預(yù)剪枝，即在生成決策樹的時候就決定是否剪枝。另一個是后剪枝，即先生成決策樹，再通過交叉驗證來剪枝。

2，C4.5生成的是多叉樹，即一個父節(jié)點可以有多個節(jié)點。很多時候，在計算機中二叉樹模型會比多叉樹運算效率高。如果采用二叉樹，可以提高效率。

3，C3.5算法只能用于分類，如果將決策樹用于回歸的話，可以擴大它的使用范圍。

4，C4.5算法由于使用了熵模型，里面有大量的耗時的對數(shù)運算，如果是連續(xù)紙還有大量的排序運算。如果能夠加以模型簡化可以減少運算強度但不犧牲太多準(zhǔn)確性的話，那就更好了。

以上內(nèi)容為大家介紹了PythonC4.5算法，希望對大家有所幫助，如果想要了解更多Python相關(guān)知識，請關(guān)注IT培訓(xùn)機構(gòu):千鋒教育。