[Aiffel]エッフェルの17日目の概念の総括と回顧

1.機械学習の概念整理

1)ライブラリ

missingno

接合側確認有無、可視化

2）データ前処理

2-1)ベースライン利用
1.測定値確認

# id column의 결측치 확인
null_check = pd.isnull(data['id'])
print(null_check)

# 결측치인 데이터만 선별
null_data = data.loc[null_check, 'id']
null_data.head()

# 결측치인 데이터의 개수를 셉니다.
print('{}: {}'.format('id', len(null_data.values)))

date列の値は0-5桁の

のみ格納.

data['date'] = data['date'].apply(lambda x : str(x[:6]))

log関数を使用して

に向かうグラフィックを変換

ログ関数のプロパティ

00に近い値を入力すると、y値は大きな範囲に広がります.
0に近い値をより広い範囲で展開

1より大きい範囲で傾斜が緩やかな=>x値のy値は

ほど変化しない.
2-2)
✔✔✔🤔

パラメータ:最適化が必要なパラメータ.

を変更して学習効率を向上

スーパーパラメータ:手動入力.

モデル学習中は変わらない

train['date'] = train['date'].apply(lambda i: i[:6]).astype(int)

astype:変更タイプ

3）組み合わせ手法

合拍手法とは何ですか。
組合せテクニックの例の説明
1.意味:複数の学習アルゴリズムを用いて導出した予測と組み合わせて、最終予測精度を高める方法
例)5つの個性が70%の分類器であれば、
5個が完全に正しい+4個しか正しくない+3個しか正しくない
4つのペアしかない場合、3つのペアしかない場合は、5からそれぞれをフィルタする方法を乗算する必要があります.

4）メッシュブラウズ、ランダムブラウズ

メッシュブラウズ
ユーザーが最初にナビゲーションにスーパーパラメータを設定した場合、使用可能なすべての値の組合せにナビゲートします.特定の値をナビゲートするためのスーパーパラメータ

ランダムナビゲーション
ユーザは、まずスーパーパラメータのスペースを指定します.

2.回顧

ガイドラインなしでデータプリプロセッシングを行うのは初めてなので、あまり良い感じではありません.彼らは、関係ないように見える列を除いて、あるいは適切に値を変えればいいと言っていますが、私が制定した基準が適用されるかどうか分かりません.すべてのモデルを構築して学習した後は計算性能がよいが,先の考え方があるため,あまり試しにくい.この感覚も育てられるかどうか知りたい.単独で育てることができれば、大量のデータを直接分析するのが最善の方法だ.