ScikitLearn Framework

Estimator()、予測()メソッドの理解とフィット

学習MLモデル:fit()
学習モデル予測:predicate()
分類アルゴリズムを実現するクラスを分類器,回帰アルゴリズムを実現するクラスをRegressorと呼ぶ.
この二つを合わせてEstimatorと言います.
 
このEstimatorは、cross val score()のような評価関数、GridSearchCVのようなスーパーパラメータ調整をサポートするクラスについてパラメータとして受け入れられます.パラメータとして受信したEstimator,cross val score(),GridSearchCVについて.fit()関数で、Estimatorのfit()とpredicate()を呼び出して、スーパーパラメータ調整を評価または実行します.
 
分類実装クラス

DecisionTreeClassifier

RandomForestClassifier

GradientBoostingClassifier

GaussianNB

SVC

 
回帰実装クラス

LinearRegression

Ridge

Lasso

RandomForestRegressor

GradientBoostingRegressor

 
縮小次元,クラスタリングなどの非指導学習や特徴抽出を実現したクラスもfit()やtransform()を用いることが多い.
この場合のfit()は,指導学習における学習を意味するものではなく,入力データの形式に応じてデータを変換するプリ構造を調整する.構造を調整した後、transform()を使用して実際の操作を実行します.
結合されたfit transform()も使用できますが、注意が必要です.これは非指導学習を処理する際に説明する.
 
 

組み込みサンプルデータセット

データセットモジュール内の複数のAPIを呼び出すことで、サンプルデータセットやサンプルデータなどを簡単に作成できます.
 
分類または回帰練習用のデータセット

datasets.load boston()回帰用途、米ボストン住宅価格データセット

datasets.load breast carcinoma()分類用途、ウィスコンシン州乳癌患者および悪性/陰性ラベルデータセット

datasets.load糖尿病()回帰用途、糖尿病データセット

datasets.load digital()を分類するための0から9の画像画素データセット

.

datasets.load iris()分類用途、筆画特徴データセット

 
fetchシリーズのコマンドは、データ量が多いため、最初からパッケージに格納されるのではなく、メインディレクトリの下にあるscikit learned dataというサブディレクトリにインターネットからダウンロードして保存し、ロードするデータです.

fetch covtype():回帰分析に用いる土地調査資料

fetch 20ニュースグループ():ニュースグループテキスト資料

fetch oliveti faces():顔画像資料

fetch lfw people():顔画像資料

fetch lfwペア():顔画像資料

fetch rcv 1():ロイター通信ニュース馬球団

fetch mldata():MLサイトから

をダウンロード
 
分類およびクラスタ用のサンプルデータの作成

datasets.make classification():分類用のデータセットを作成します.特に、ランダムに高相関性、不要な属性等のノイズ影響のデータ

を生成する.

datasets.make blobs():クラスタ用のデータセットを作成します.クラスタで指定した数に基づいて作成します.

 
 
分類または回帰に使用される練習例データは、通常、ディクソンフォーマットを採用する.
鍵は、通常、data、target、target name、feature names、およびDESCRから構成される.

data:Featureのデータセット

target:分類時ラベル値、回帰時数値欠落値データセット

target names:単一ラベルの名前

feature names:featureの名前

DESCR:データセットの説明と各特徴の説明

 
data、targetはendarrayタイプ、target names、feature namesはendarrayまたはlistタイプ、DESCRはstringタイプです.
フィーチャーのデータ値を返すには、組み込みデータセットAPIを呼び出し、キー値を指定するだけです.

from sklearn.datasets import load_iris

iris_data = load_iris()
print(type(iris_data))

output

<class 'sklearn.utils.Bunch'>

load iris()の戻り結果はsklearningです.utils.Bunch Class、Bunch ClassはPython版の資料型に似ています.
データセットに組み込まれているほとんどのデータセットは、このバイナリフォーマットと同様の値を返します.
 
load iris()のキー値を確認

keys = iris_data.keys()
print('붓꽃 데이터 세트의 키들:', keys)

output

붓꽃 데이터 세트의 키들: dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])

 
 
データ・キーとは、フィーチャーのデータ値です.
データセットは、フィーチャーデータ値を抽出するために使用されます.data(またはデータセット['data'])を使用すればよい.
同様にtarget,feature names,DESCRなども同様の操作を行うことができる.

print('\n feature_names 의 type:',type(iris_data.feature_names))
print(' feature_names 의 shape:',len(iris_data.feature_names))
print(iris_data.feature_names)

print('\n target_names 의 type:',type(iris_data.target_names))
print(' feature_names 의 shape:',len(iris_data.target_names))
print(iris_data.target_names)

print('\n data 의 type:',type(iris_data.data))
print(' data 의 shape:',iris_data.data.shape)
print(iris_data['data'])

print('\n target 의 type:',type(iris_data.target))
print(' target 의 shape:',iris_data.target.shape)
print(iris_data.target)

output

 feature_names 의 type: <class 'list'>
 feature_names 의 shape: 4
['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']

 target_names 의 type: <class 'numpy.ndarray'>
 feature_names 의 shape: 3
['setosa' 'versicolor' 'virginica']

 data 의 type: <class 'numpy.ndarray'>
 data 의 shape: (150, 4)
[[5.1 3.5 1.4 0.2]
 [4.9 3.  1.4 0.2]
 [4.7 3.2 1.3 0.2]
 [4.6 3.1 1.5 0.2]
 [5.  3.6 1.4 0.2]
 [5.4 3.9 1.7 0.4]
 [4.6 3.4 1.4 0.3]
 [5.  3.4 1.5 0.2]
 [4.4 2.9 1.4 0.2]
 [4.9 3.1 1.5 0.1]
 [5.4 3.7 1.5 0.2]
 [4.8 3.4 1.6 0.2]
 [4.8 3.  1.4 0.1]
 [4.3 3.  1.1 0.1]
 [5.8 4.  1.2 0.2]
 [5.7 4.4 1.5 0.4]
 [5.4 3.9 1.3 0.4]
 [5.1 3.5 1.4 0.3]
 [5.7 3.8 1.7 0.3]
 [5.1 3.8 1.5 0.3]
 [5.4 3.4 1.7 0.2]
 [5.1 3.7 1.5 0.4]
 [4.6 3.6 1.  0.2]
 [5.1 3.3 1.7 0.5]
 [4.8 3.4 1.9 0.2]
 [5.  3.  1.6 0.2]
 [5.  3.4 1.6 0.4]
 [5.2 3.5 1.5 0.2]
 [5.2 3.4 1.4 0.2]
 [4.7 3.2 1.6 0.2]
 [4.8 3.1 1.6 0.2]
 [5.4 3.4 1.5 0.4]
 [5.2 4.1 1.5 0.1]
 [5.5 4.2 1.4 0.2]
 [4.9 3.1 1.5 0.2]
 [5.  3.2 1.2 0.2]
 [5.5 3.5 1.3 0.2]
 [4.9 3.6 1.4 0.1]
 [4.4 3.  1.3 0.2]
 [5.1 3.4 1.5 0.2]
 [5.  3.5 1.3 0.3]
 [4.5 2.3 1.3 0.3]
 [4.4 3.2 1.3 0.2]
 [5.  3.5 1.6 0.6]
 [5.1 3.8 1.9 0.4]
 [4.8 3.  1.4 0.3]
 [5.1 3.8 1.6 0.2]
 [4.6 3.2 1.4 0.2]
 [5.3 3.7 1.5 0.2]
 [5.  3.3 1.4 0.2]
 [7.  3.2 4.7 1.4]
 [6.4 3.2 4.5 1.5]
 [6.9 3.1 4.9 1.5]
 [5.5 2.3 4.  1.3]
 [6.5 2.8 4.6 1.5]
 [5.7 2.8 4.5 1.3]
 [6.3 3.3 4.7 1.6]
 [4.9 2.4 3.3 1. ]
 [6.6 2.9 4.6 1.3]
 [5.2 2.7 3.9 1.4]
 [5.  2.  3.5 1. ]
 [5.9 3.  4.2 1.5]
 [6.  2.2 4.  1. ]
 [6.1 2.9 4.7 1.4]
 [5.6 2.9 3.6 1.3]
 [6.7 3.1 4.4 1.4]
 [5.6 3.  4.5 1.5]
 [5.8 2.7 4.1 1. ]
 [6.2 2.2 4.5 1.5]
 [5.6 2.5 3.9 1.1]
 [5.9 3.2 4.8 1.8]
 [6.1 2.8 4.  1.3]
 [6.3 2.5 4.9 1.5]
 [6.1 2.8 4.7 1.2]
 [6.4 2.9 4.3 1.3]
 [6.6 3.  4.4 1.4]
 [6.8 2.8 4.8 1.4]
 [6.7 3.  5.  1.7]
 [6.  2.9 4.5 1.5]
 [5.7 2.6 3.5 1. ]
 [5.5 2.4 3.8 1.1]
 [5.5 2.4 3.7 1. ]
 [5.8 2.7 3.9 1.2]
 [6.  2.7 5.1 1.6]
 [5.4 3.  4.5 1.5]
 [6.  3.4 4.5 1.6]
 [6.7 3.1 4.7 1.5]
 [6.3 2.3 4.4 1.3]
 [5.6 3.  4.1 1.3]
 [5.5 2.5 4.  1.3]
 [5.5 2.6 4.4 1.2]
 [6.1 3.  4.6 1.4]
 [5.8 2.6 4.  1.2]
 [5.  2.3 3.3 1. ]
 [5.6 2.7 4.2 1.3]
 [5.7 3.  4.2 1.2]
 [5.7 2.9 4.2 1.3]
 [6.2 2.9 4.3 1.3]
 [5.1 2.5 3.  1.1]
 [5.7 2.8 4.1 1.3]
 [6.3 3.3 6.  2.5]
 [5.8 2.7 5.1 1.9]
 [7.1 3.  5.9 2.1]
 [6.3 2.9 5.6 1.8]
 [6.5 3.  5.8 2.2]
 [7.6 3.  6.6 2.1]
 [4.9 2.5 4.5 1.7]
 [7.3 2.9 6.3 1.8]
 [6.7 2.5 5.8 1.8]
 [7.2 3.6 6.1 2.5]
 [6.5 3.2 5.1 2. ]
 [6.4 2.7 5.3 1.9]
 [6.8 3.  5.5 2.1]
 [5.7 2.5 5.  2. ]
 [5.8 2.8 5.1 2.4]
 [6.4 3.2 5.3 2.3]
 [6.5 3.  5.5 1.8]
 [7.7 3.8 6.7 2.2]
 [7.7 2.6 6.9 2.3]
 [6.  2.2 5.  1.5]
 [6.9 3.2 5.7 2.3]
 [5.6 2.8 4.9 2. ]
 [7.7 2.8 6.7 2. ]
 [6.3 2.7 4.9 1.8]
 [6.7 3.3 5.7 2.1]
 [7.2 3.2 6.  1.8]
 [6.2 2.8 4.8 1.8]
 [6.1 3.  4.9 1.8]
 [6.4 2.8 5.6 2.1]
 [7.2 3.  5.8 1.6]
 [7.4 2.8 6.1 1.9]
 [7.9 3.8 6.4 2. ]
 [6.4 2.8 5.6 2.2]
 [6.3 2.8 5.1 1.5]
 [6.1 2.6 5.6 1.4]
 [7.7 3.  6.1 2.3]
 [6.3 3.4 5.6 2.4]
 [6.4 3.1 5.5 1.8]
 [6.  3.  4.8 1.8]
 [6.9 3.1 5.4 2.1]
 [6.7 3.1 5.6 2.4]
 [6.9 3.1 5.1 2.3]
 [5.8 2.7 5.1 1.9]
 [6.8 3.2 5.9 2.3]
 [6.7 3.3 5.7 2.5]
 [6.7 3.  5.2 2.3]
 [6.3 2.5 5.  1.9]
 [6.5 3.  5.2 2. ]
 [6.2 3.4 5.4 2.3]
 [5.9 3.  5.1 1.8]]

 target 의 type: <class 'numpy.ndarray'>
 target 의 shape: (150,)
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]