SVM FAQ

SVM FAQ
この文書は次のとおりです.https://www.jianshu.com/p/fa02098bc220
SVMの面接問題は比較的に規則的で、今回はよくあるいくつかの面接問題を記録します.
一言でSVMを紹介する
SVMは二分類モデルであり、彼の基本モデルは特徴空間上の間隔が最も大きい線形分類器を定義し、間隔大使は普通の感知機とは異なり、核技術によって暗黙的に入力空間でマッピング空間中の特徴ベクトルの内積を直接解き、非線形分類器にする.SVMの学習戦略は間隔最大化であり,凸二次計画問題を解く形式化が可能である.
SVMのいくつかのコア概念
1スーパープレーンおよび関数間隔の決定
空間上の平面式から超平面wx+b=0を決定し、|wx+b|は点xから平面までの距離を表す.正の負の例は分割平面の両側に位置するため、y(wx+b)は分類の正確性と距離の確信度を同時に表すことができる.これは、訓練セットのすべての点から超平面までの距離の最小値として定義される関数間隔です.
2ジオメトリ間隔
wとbを比例的にスケーリングすると|wx+b|が比例的にスケーリングされるため、間隔が決定されるように法ベクトルwに制約を加える必要がある.すなわち、関数間隔全体を||w|で割ると、幾何学的間隔が得られる
3間隔最大化(ハード間隔)
ハードインターバル最大とソフトインターバル最大SVMに分ける基本思想は,データセットを正確に分割し,幾何学的インターバル最大の分離スーパープレーンを解くことであり,線形分割可能スーパープレーンは無数であるが,インターバル最大スーパープレーンは一意であるためである.
間隔最大化とは,訓練データを十分な確信度で分類することを意味し,すなわち,正負のインスタンスを分離するだけでなく,最も分離しにくいインスタンス点(超平面に最も近い点)に対しても十分な確信度で分離することを意味する.コンストレイント最適化の問題の元の形式をここに示します(前のブログを参照).
4サポートベクトル
スーパープレーンに最も近い点をサポートベクトル、すなわち元の問題コンストレイントを成立させる点と呼びます.実際に超平面から遠い点は正しく分類されており,超平面から遠く離れる意味はない.逆に私たちが最も関心を持っているのは超平面に近い点で、これらの点は誤分類されやすい.超平面に近い点をできるだけ超平面から遠ざけることができれば、分類効果はいくつかあります.
5コア関数
コア関数の本質は,特徴を高次元空間にマッピングするのではなく,高次元空間におけるベクトルを低位空間で直接点積演算する簡便な方法を見つけることに留意されたい.その証明及びケースは、李航統計学習方法P 117を参照することができる
6元の問題を対偶問題に変換する理由
いつも対偶問題が解きやすいと言っていますが、道理はどこですか.
対偶問題に置き換えると解きやすいのは,アルゴリズムの計算の複雑さを低減するためである.元の問題では,アルゴリズムの複雑さはサンプル次元,すなわち重みwに等しい次元に関係し,対偶問題ではアルゴリズムの複雑さはサンプル数,すなわちラグランジュ演算子の個数に関係する.したがって、線形分類を行い、サンプル次元がサンプル数より低い場合は、元の問題で解くとよいでしょう.Liblinearのような線形SVMのデフォルトはこのようにします.しかし、非線形分類をすると、昇格次元(ガウスコアを核関数として使用するなど、実際にはサンプルを無限次元に昇格させる)に関連し、昇格次元後のサンプル次元はサンプルの数よりはるかに大きくなり、対偶問題で解くとより良いことが明らかになります.
一方,支持ベクトル上の試料のみに対応するLagrange演算子を解析した.λ0より大きい、残りのλすべて=0ですが、対偶問題に変換された計算対象はλ,計算の複雑さを大幅に低減しました
なぜSVMは欠落した値に敏感なのか
SVMとLRの連絡

1）    
    SVM hinge  
    LR log  
2）  
    LR       
    SVM   0 1，          
3）   
    LR      ；SVM     ，     
4）     
             SVM。
    SVM                  SMO  ，            O(n^2)，               。
      ，      ，  RBF ，         ，           。
5）LR              ；SVM              。
6）       
    LR        ；SVM     ，        
7）LR    ，            ；SVM   ，        ，
8）SVM       

SVMのメリットとデメリット

  ：
    1、                  
    2、        ，       
    3、           ，           
    4、               
  ：
    1、             ，SVM    
    2、SVM                 
    3、                 
    4、SVM       
    5、            svm，   svm             ，          instance     kernel    similarity（  svm    ），              similarity。          svm        “   ”   

なぜSVMの分割超平面方程式はwx+b=0なのか.
1)この超平面の公式は仮定である.2)wとxは共にベクトルであり、bは実数である.3)3次元空間における1つの法ベクトルwにおいて、1つの変位bが1つの平面を一意に決定できるので、上記の式の仮定を行う.xベクトルは原点から平面の任意の点までの連線ベクトルと見なすことができ、wは原点が平面に垂直なベクトルであるため、wの大きさは原点から超平面までの最短距離である.4)なぜ=0にするのですか?便宜上、2種類のサンプル点の境界から超平面までの距離が等しいと仮定して0とすると、wx+b>0はサンプル点が分割平面の上にあることを示し、wx+b<0はその下にあることを表す.
超平面方程式はax+b=yの直線方程式とどのように関連していますか?
ジオメトリ角度は、最適なスーパープレーンを探す方法を説明します.
1)中間超平面H 0が与えられ、wx−b=0を満たし、他の2つの超平面H 1:wx−b=mが与えられる.H 1:wx-b=-m、正負mに設定する目的は、H 1からH 0までの距離=H 2からH 0までの距離とすることである.2)wとbは同期スケーリングが可能であるため,問題を簡略化するためにmを1にスケーリングすると,2つの超平面の方程式は次のようになる.
3)上記2つのスーパープレーンの中間にはデータがありません.この文はスーパープレーンに対する制約であり、数学的記述に変換すると次のようになります.
上記の2つのコンストレイントは、yiが2つのサンプルの点である場合にマージできます.
4)仮定:
上の図では,X 0距離が別の超平面距離mであれば,X 0+mが別の超平面上の点を求めることができるのではないかと考えられる.しかし、X 0は1つのベクトルと見なすことができ、mは1つのスカラーにすぎないので、mをスカラーに変換する必要があり、言い換えれば、H 1に垂直で長さmのベクトルを得ることができる.実はH 1にとってwはその上の法ベクトルである.
ではKは私たちが探しているベクトルです.
OK、ベクトルkが見つかりました.X 0と加算できます.z 0=X 0+kが得られます.下図のように.
上式の導出によりmの求め方が得られた.
SVMパラメータCの選択
SVMコア関数の選択