ニューラルネットワークと深さ学習の簡単な歴史(全)
2201 ワード
基礎編
第一章:データマイニングの基礎
1.1ある飲食企業からデータマイニングを導入
IT技術が企業の日常管理に深く入り込むにつれて、私達はだんだんよく耳にするビッグデータの時代に入って、*取引先関係管理システム*フロントエンドシステム*バックエンドシステム*財務システム*などを持っているだけではありません.
これらのシステムに伴い、毎日大量のデータが発生していますが、これらのデータは価値があり、これらのデータをどのように十分に利用するかは、私たちが次に検討するデータマイニングです.
1.2データマイニングの基本任務
データマイニングの基本的な任務は分類と予測、クラスタリング分析、関連規則、タイミングモデル、偏差検出、推薦しかできないなどの方法を利用して、データに含まれるビジネス価値を抽出し、企業競争力を高めることを助ける.
1.3データマイニングモデリングプロセス
1.3.1マイニング目標の定義
データ・マイニングを行う前に、私たちはまず自分の今回のマイニングの目標を明確にしなければなりません.システムが完成したらどのような効果が得られますか?データ・マイニングの価値を十分に発揮するには、目標を明確に定義しなければなりません.はっきり言って、まず自分が何をしたいのかを知る必要があります.
1.3.2データ抽出
データマイニングが必要な目標を明確にした後、次にデータを収集し、データがなければ、マイニングについて話します.データ抽出の基準は、1つは相関性、2つは信頼性、3つは有効性であり、1つはすべてのデータを呼び出すのではなく、データサンプルの精選を通じて、不要なデータ処理量を減らすことができ、システム資源を節約することができるだけでなく、私たちが探したい規則性をより際立たせることができる.
1.3.3データ探索
抽出したサンプルデータを探索し、審査する必要のない加工処理は、最終的な掘削モデルの品質を保証するために必要である.掘削モデルの品質は抽出サンプルの品質を超えず、データ探索と前処理の目的はサンプルデータの品質を保証し、モデルの品質を保証することであると言える.データ探索は主に、-異常値分析-欠落値分析-相関分析-周期分析-などを含む(
)1.3.4データの前処理
つまり、通常のデータ洗浄は、後のマイニングモデリングに高品質のデータサポートを提供します.データ前処理には、主に、データフィルタリング-データ変数変換-欠落値処理-悪いデータ処理-データ標準化-主成分分析-属性選択-データ規約-...などが含まれる(
)1.3.5データマイニングモデリング
このステップはデータマイニングの核心的な一環であり、データを処理した後、私たちが次に考慮しなければならない問題は、今回のインク添加はデータマイニングアプリケーションのどの問題(分類?クラスタリング?関連規則?時間シーケンス?または推薦しかできない)に属しているかということです.どのアルゴリズムを選択してモデル構築を行いますか?
1.3.6モデル評価
モデリングの過程で一連の分析結果が得られ、モデル評価の目的の一つはこれらのモデルから1つの番号のモデルを選択することである.異なるタイプの分析モデルの評価方法は異なるが,具体的な評価方法は第5章の関連紹介を参照する.
1.4一般的なデータマイニングモデリングツール
データマイニングは繰り返し探索する過程であり、データマイニングツールが提供する技術と実施経験をプロジェクトの論理と需要と結合してこそ、より良い効果を得ることができる.以下、いくつかのよく使われるデータマイニングモデリングツールを簡単に紹介する.
)