異なるアルゴリズム概念理解(svm,logit,neural network,decision tree,random forest)

最近、(svm,logit,neural network,decision tree,random forest)アルゴリズムの基礎概念を見て、これらのアルゴリズムが関連する特徴点を記録して、後で理解と比較に使用するために使用します.
コンセプト
SVM
Logit
 
Data,classifier,optimization ,kernelling,hyperplane
Y=ax+b Y = f(x),Ө,X,X
 
複数カテゴリ:(2つ、1つ、その他)
F(x) =  (0,1)
 
バナナ、りんごが交差する:罰
Y’ =
 
直線では分割できません
 
ちょくせんぶんかつ
信頼ドメインアルゴリズム,勾配降下,Powell共役方向セット法
 
さいてきかいせき
 
 
 
 
コンセプト
Neural network
 
ニューロン-センサ、マルチ入力、単一出力
 
ウエイト
 
 
 
 
試行錯誤法、Δw,Δb微小変化、「出力」を連続性関数

         wx + b  z，σ(z)=1/(1+ e^(-z))

に改造
 
 
 
コンセプト
Decision tree
Random forest
 
Gini非保存度
ランダム森林は複数の意思決定木の投票メカニズムを採用して意思決定木を改善する
 
最適フィーチャーの選択と最適分割ポイントの選択
Bootstraping,Bagging獲得投票メカニズム
 
Gini値が十分小さいかどうか
1.サンプルセットから再サンプリングによりn個のサンプルを生成する.サンプルの特徴数をaとする、n個のサンプルに対してa中のk個の特徴を選択し、決定ツリーを構築する方式で最適な分割点3を得る.m回繰り返し、m本の決定木4を生成する.多数投票メカニズムによる予測
 
ループ
 
 
意思決定ツリーはオーバーフィット現象を生じ,汎化能力が弱くなる