【G検定直前】 主要単語をざっくり理解するシート

14857 ワード
歴史 G検定 歴史 テキストリンク

2020秋のG検定に合格したので学習時にまとめたものを投稿します。

今後、受験する方の参考になれば幸いです。

受験したときの所感

※黒本と呼ばれる、G検定問題集に記載されているような過去問はほとんど出て来てない印象です。
人の名前を覚えるよりは、強化学習のパラメータや各種機械学習関係の特徴や実装時に注意する点などを抑えるのが良いかと思います。
G検定のGはGoogleのG。主要な単語や検索キーワードを頭に入れて試験中に検索できるように準備するのが大切だと思います。

もしお気づきの点がありましたらご指摘頂けますと幸いです。
※あまりきれいにまとめることができていない内容もありますがよろしくおねがいします。

人工知能の歴史

・世界初のコンピュータENIAC(1946年)

第一次ブーム：探索、推論 (1956～1960年代)

1956年、ダートマスワークショップ

・初めて、人工知能（Artificial Intelligence）という言葉が提唱される。

・数学の定理証明や、チェスを指す人工知能などが展示

第二次ブーム：知識ベース (1980年代)

・エキスパートシステム

・MYCIN：医療診断

・有機化合物の特定

第三次ブーム：機械学習、ディープラーニング (2012年頃)

ウェブや計算機の性能向上により、第二次ブームで使われていた手法の発展形が登場、

IBM　Watoson　クイズ王

ILSVRC（ImageNet large scale visual recognition challenge）

大規模画像認識コンテスト。

画像認識、画像分類のコンテスト。
2012年に優勝したアルゴリズムなど、各年の優勝したアルゴリズムや特徴的なデータセットは抑えておくのが良さげ。

自然言語処理関係

要素名 概説
セマンティックウェブ 情報リソースに意味を付与。コンピュータで高度な意味処理を実現する。
意味ネットワーク 単語同士の意味関係をネットワークによって表現
統計的自然言語処理 言語処理に確率論的あるいは統計学的手法を用いる手法
MCMC（マルコフ連鎖モンテカルロ法） 確率分布から乱数を取り出すことにより、汎用的な数値積分を実現するための手法。ベイズ統計の計算を簡易的に行う手法で、期待値の計算など利用される。

エキスパートシステム

専門家のノウハウを計算機に移植することによってAIを実現するアイディア。

偉い、賢い人が頑張ってデータ入力したもの。専門家が知識を定式化すると、ルール同士が矛盾してしまうことにどう対処するかが問題となる。

  • Dendral

    未知の有機化合物を質量分析法で分析し、有機化学の知識を使って特定する

  • Mycin

    システムは伝染性の血液疾患を診断し、抗生物質を推奨するようにデザインされていて、患者の体重のために供与量を調節する

    5、6年の歳月をかけて開発されたエキスパートシステムである。Lispで書かれ、ブルース・ブキャナンとエドワード・ショートリッフェが開発

ボードゲームAI

ボードゲーム名 有名AI 開発者
囲碁 AlphaGO DeemMind
将棋 Ponanza 山本一成
チェス Deep Blue IBM

格言系

言うた人 内容
レイ・カーツワイル シンギュラリティ（技術的特異点）が2045年に到来する
スティーブン・ホーキング AIの完成は、人類の終焉を意味するかもしれない
シンギュラリティに関しては懐疑的
イーロン・マスク 人工知能を研究する非営利団体OpenAIを設立。
アーサー・サミュエル 機械学習を「明示的にプログラムしなくても学習する能力をコンピュータに与える研究分野」と定義した。
スティーブン・ホーキンス AIの完成は、人類の終焉を意味するかもしれない「人工知能の進化は人類の終焉を意味する」と発言。
イーロン・マスク テスラの創設者人工知能が与える影響の大きさの危険性を危惧しているOpen AIという非営利団体を設立Open AIは人工知能の研究を行い、それをオープンソースとすることで社会全体で平等に人工知能技術を共有しようというと試みている。
ジョン・サール 強いＡＩ（Strong AI ）弱いＡＩ（Weak AI）を提唱。中国語の部屋という思考実験を提唱。「…強いAIによれば、コンピュータは単なる道具ではなく、正しくプログラムされたコンピュータには精神が宿るとされる」
ヤン・ルカン FaceBookの主任AI科学者最初にCNN（畳み込みニューラルネットワーク）LeNetを発明した人物。1988年にはジェフリー・ヒントン研究室に所属していた。手書き数字を集めたデータセット「MNIST」を構築したことで有名。GANsについて、「機械学習においてこの10年間で最も興味深いアイデア」と評価している。
オレン・エツィオーニ 「コンピュータが世界制覇するという終末論的構想は『馬鹿げている』としか言いようがない」としてシンギュラリティには懐疑的
スティーヴン・ホーキング 「完全な人工知能を開発できたら、それは人類の終焉を意味するかもしれない」シンギュラリティに否定的。
レイ・カーツワイル 2005年に「The Singularity Is Near:When Humans Transcend Biology」2045年に技術的特異点（technological singularity）は近いと提唱。2029年にはチューリングテスト合格すると予言。すなわち強いAIが誕生する。2045年には1000ドルのコンピューターは全人類の脳の計算性能を上回る時点と予想している。
ジェフリー・ヒントン カナダのトロント大学名誉教授。ニューラルネットワーク（NN）の第一人者。2006年にはオートエンコーダや深層信念ネットワークという手法を提唱。ディープラーニングの基礎を築く。第三次ブームはこの手法のおかげと言っても差し支えない。2012年　ILSVRC(画像判別コンペ)にて、当時SVMを用いた画像分析が主流で正答率２6％台の勝負だったが、ニューラルネットワークを用いた画像分類を行い１６％と当時の常識を遥かに超える結果をもたらした。
ちなみに、当時のILSVRC優勝したモデルは「AlexNet」（Alex Krizhevsky & Ilya Sutskever & Geoffrey E. Hintonが作成した。その内の1人であるAlexの名前から来ている。）
アラン・チューリング ある機会が人間的かを判別するチューニングテストを提唱した。現在のCPの基本的なアーキテクチャーの元になっている、チューニング・マシンを作成した。ドイツ軍の暗号エニグマの解読に一躍。現代コンピュータの父
ジョン・マッカーシー パトリック・ヘイズとの共同論文でフレーム問題を提唱。余談だが、LISP言語を作った人。
ジョセフ・アイゼンバウム 人工無能として有名な「ELIZA」を書き上げた人。
福島邦彦 CNNの原型ともいえる、単純型細胞と複雑型細胞の２つの細胞の働きを組み込んだモデルである「ネオコグニトロン」を提唱。
イアン・グッドフェロー 敵対的生成ネットワークを考案。生成ネットワークと識別ネットワークからなる教師なし学習手法
デミス・ハサビス DeepMindの設立者

プロジェクト

プロジェクト名 内容
Cycプロジェクト 一般常識をデータベース化し（知識ベース）、人間と同等の推論システムを構築することを目的とするプロジェクトである。現在も続いており、一般常識を知識ベース化することは困難であることも示している。
Dendral 化学者が行うような判断と問題解決の過程を自動化を目的としたエキスパートシステム。
未知の有機化合物を質量分析法で分析し、有機化学の知識を使って特定する。1960年代の人工知能プロジェクトである

団体や学会名称

団体名/学会名 内容
IHCAI 人工知能全般を取り扱う、カンファレンス
AAAI IJCAIと同等のカンファレンス
JSAI(The Japanese Society for Artificial Intelligence) 人工知能学会。昔配布していた冊子が女性軽視とフェミニストに叩かれたこともあった。なお叩かれた当時学会誌は高値で取引されたり、Amazonなどから在庫が切れた。
NeurIPS 元NIPS。ニューラルネットワーク情報処理システム年次会議（Annual Conference on Neural Information Processing System）統計的機械学習・Deep Learningが多い
ICAL NeurIPSと同等のカンファレンス。理論重視のカンファレンス
IBIS 日本の機械学習系のワークショップ
CVPR European Conference on Computer Vision画像処理、映像処理系のカンファレンス
ICCV 画像処理、映像処理系のカンファレンス

思考実験、経験則、課題／問題

問題 概要
シンボルグラウディング（記号接地問題） 記号システム内のシンボルを実世界の意味と結びつけることが困難であることを示した問題。認知科学者のスティーブン・ハルナッド（Stevan Harnad）が提唱
フレーム問題 John McCarthy（ジョン・マッカーシー）氏とPatrick Hayes（パトリック・ヘイズ）が提起。Daniel Dennett（ダニエル・デネット）氏が論文で示した。人工知能が解く問題に対し、選択肢が多すぎる時に膨大な時間がかかる問題を示したもの
モラベックのパラドックス ハンス・モラベックやマービン・ミンスキーらが、人間には簡単な感覚的に動くことが、機械にとっては非常に難しいということを示した。高度な推論よりも感覚運動スキルの方が多くの計算資源を要する。一歳時にもできること（歩くことの学習等）が機会にやらせるのはとてもむずかしいということ
中国語の部屋 中国語を理解できない人を小部屋に閉じ込めて、マニュアルに従った作業をさせるという内容。部屋の外にいる人間は「この小部屋の中には中国語を理解している人がいる」と考える
みにくいアヒルの子定理 仮定（＝事前知識や偏向、帰納バイアス）がないと分類は理論上できないということ。主観／前提知識（暗黙の仮定）を排除して分類を試みたところでできないことを示している
ノーフリーランチ定理 David H. Wolpertが提唱した考え方。 あらゆることに万能な機械学習モデルや探索／最適化のアルゴリズムなどは存在しないことを説き、数学的に証明した。。
グルーのパラドックス 法則や命題の正しさを確証するために、データや事例を枚挙してその証拠とするという実証科学的手続き（帰納法） に疑問を呈したもので、例えばある時間(20XX年まで緑のエメラルドが21XX年には青色）になるというやつ。
バーニーおじさんのルール ニューラルネットワークの重みパラメーターの数に対して、最低限その10倍以上の訓練データ量が必要とした経験則。古典的な位置づけでディープラーニングが登場以前からあるため、ディープラーニングにも応用できるのかは不明とされている。
Garbage In, Garbage Out 不良データを入力すると、出来上がる機械学習モデルもゴミ

AIの種類

汎用AI

汎用型人工知能（AGI：Artificial General Intelligence）

振る舞いに着目して、人間と同等のタスクをこなすことのできるAI

フレーム問題を打ち破ったAIのことを指すこともある。

特化型AI

特定の用途に特化したAI.例えば、画像処理や自動運転、チェスや将棋などのボードゲームが挙げられる

フレーム問題を打ち破っていないAIのことを指すこともある。

弱いAI/強いAI

哲学者ジョン・サールが提起した考え方

強いAI、人間の知能に迫るようになるか、人間の仕事をこなせるようになるか、幅広い知識と何らかの自意識を持つようになったもの。 弱いAI、自意識は持たず、特定の狭い領域の問題解決しかできないAI

機械学習/強化学習

教師あり学習：乱暴に言うと正解ラベルがついているやつ

主に、回帰と分類に大別できる。

　例：サポートベクターマシン

教師なし学習

既知データの本質的な構造を導き出すことを目的にしたもの。

　クラスタリングや、次元削減が例。

強化学習

　エージェントが自身の収益を最大化するような行動指針を獲得する。Q学習などが有名。

決定木

決定木は、情報利得の最大化を実現するように決定する。

データのスケールを事前に揃える必要はなく、分析結果の説明が容易な点が特徴として挙げられる。

変数の種類

名前 説明
目的変数 予測対象。従属変数や外的基準などともいう
説明変数 独立変数ともいう。物事の原因となる目的変数を説明する｜
スラック変数 最適化問題における、不平等式制約を等式制約に変換するために導入する変数のこと。サポートベクターマシンなどに利用される。

線形回帰

単回帰分析と重回帰分析があり、

説明変数の一時関数であり、目的変数を予測する。

単一の説明変数を用いるのが単回帰。

重回帰分析は、相関の強い目的変数を同時に二つ用いると予測精度が悪化する。（多重共線性）

ロジスティクス回帰：対数オッズを線形回帰によって予測し、出力の正規化によって予測結果を確立として解釈する。

目的関数には、ヒンジ損失関数が用いられる。

最小化を行う関数のことを目的関数と呼び、ロジスティクス会期の場合は尤度関数が用いられる。

L1正則化： 次元圧縮が目的。余分な説明変数を除くことを目的にしている。

L2正則化：モデルの過学習を防ぐことを目的にした手法。

LASSO回帰：不要と判断された特徴量が自動的に消去される特徴ある。（L1正則化を施した回帰）

Ridge正則化：パラメータ全体として大きくなりすぎないように抑制を行うことができる（L2正則化を施した回帰）

分類

kNN法とは、k最近傍法（k-Nearest Neighbor: kNN）

回帰や分類を行う際に、似たようなデータをk個集めてそれらの多数決から目的とする値を求める

欠点として、クラスのサンプル数の方よりに弱い。

k値はエンジニアが決めるパラーメタであり、ハイパーパラメータと呼ばれる。

次元削減

情報をなるべく失わないようにデータを低次元に集約することをいう。

計算量の削減や、次元の呪いを回避することに期待できる。

主成分分析は、線形な次元削減。

寄与率：各成分の重要度

主成分を：各成分の意味を推測することができる。

アンサンブル学習

複数回試行し各結果の平均を取ったほうがよい。

分類問題については経験的に、一つの強識別機を使うよりもバギングの性能が高くなる特徴がある。

バギング：データのいち部を使って何度も繰り返す方法。各モデルを並列に学習させることができる。

ブースティング、Boosting：データの一部から弱学習機を作り、繰り返し強学習機へと作っていく手法。　各モデルを逐次的に学習させる、

ランダムフォレスト：バギングと決定木を組み合わせた手法。

過学習しやすいという弱点がある。

ニューラルネットワークの過学習を防ぐための手法

モデルを作る際に、外れ値やノイズまで学習することが多々ある。これが過学習（OverFitting)と呼ばれます。

正規化とは、パラメータのノルムが大きくなりすぎないようにすること。

レコメンデーションシステム

顧客の購入行動促進のために、機械学習によってその顧客の好みそうな商品を推定し、推薦するシステムのこと。

Amazonや楽天、音楽配信サイト、YoutubeやSNS等幅広く活用されている。

代表的な手法として２つ上げる。

協調ベースフィルタリング：

ユーザーの好み趣向から、その好み趣向が似た人が購入したりしている商品を提案する。

Cold Start（コールドスタート問題（スタートアップ問題））のように、商品が頻繁に入れ替わりや、サイトの立ち上げ時点ではユーザーの情報に乏しく適切な判断につながらないことを示したやつ。

強調フィルタリングは更に細分化され

モデルベース強調フィルタリング：

LDA CTM SVD SVD++ time SVD++ Factrization Machines等が代表的

メモリベース協調フィルタリング

更に細分化され下記に分かれる。

アイテムベース協調フィルタリング
ユーザーベース強調フィルタリング

・内容ベースフィルタリング（コンテンツベースフィルタリング）：

ユーザーが選んだアイテムの特徴を抜き出し、その特徴に似た商品をレコメンドする手法。

ぐるなびなどででユーザが入力した『大阪、インド料理』で検索し、同様のタグがついたものがレコメンドされるようなイメージ（厳密には違う）

内容ベースによるレコメンドはアイテムの特徴を元にレコメンドする方法です。

よく使われる手法にTF-IDF（terk frequency-inverse document frequency）

メタデータを使って、作家やジャンル、値段等をベクトルに変換。

DeepLearning（ディープラーニング）

ディープニューラルネットワークを用いた予測学習を行う　機械学習手法の一つ。

利点

・層数を増やすことで複雑な関数の近似が可能になる点。

欠点：

・過学習や勾配消失問題を起こしやすい。

・事前に調整すべきパラメータ数が多い。

機械学習の学習基盤

  • MLOps 　機械学習チーム/開発チーム　と運用チームが協力し実装から運用までのサイクルをすすめるための機械学習基盤を気づくことがある。
  • AIOps 　IT運用のプロセスの一部にAIを適用することでさらなる自動化や効率化を期待する概念。

活性化関数

問題 概要
ステップ関数 活性化関数として設定すると、単純パーセプトロンと全く同じ動きとなる。ν=0で部分できないためイマイチ
シグモイド関数 ロジスティックシグモイド関数。ステップ関数と似ているが、なめらな微分関数として考案された。勾配消失問題に繋がりやすく近年余り見かけなくなっている。
ReLU関数 負の値が０で直線的に上昇する関数。勾配消失問題が発生しづらく、形も使いやすいため主流となっている
ソフトマックス関数 出力の総和を１で正規化する。確率としての表現を整えることに利用されることの多い活性化関数。分類問題でいうところの出力層付近でよく利用される。
squash関数 CapsNetに利用される活性化関数

# ディープラーニングアルゴリズム

問題 概要
MLP（多層パーセプトロン） 入力層、隠れそう、出力層の全結合したディープニューラルネットワーク。
CNNL(畳み込みニューラルネットワーク) 順伝型のニューラルネット枠。　入力が畳み込み層に入り、フィルタと画像との積和演算となるよう畳み込み演算を行う。その後、プーリング層に伝わって、平均値や最大値を用いてプーリング演算を行う。この手順を繰り返し、全結合層で出力を計算する。
RNN（再帰型ニューラルネット） 時系列データ、前後のデータに意味があるデータに対してその特徴を学習するやつ。長期的な特徴を学習することや、時間ごとに重み付けを行うような手法は別である。
LSTM（長短期記憶） 時系列データにおいてRNNより長期データの特徴を学習する。RNNの中間層をLSTM-Blockとして状態を記憶するMemory Cellと記憶したデータを適宜忘却するゲートに置き換えている。
ResNet 学習対象に入力差を使うことで、勾配消失問題を解消を目的にしたやつ
GAN（敵対的生成ネットワーク） 教師なし学習に用いられる手法で、イアンぐっとフェローが考案。生成ネットワークが生成したイメージを識別ネットわー０区が教師データか生成ネットワークの出力物かを判断。生成ネットワークはより出力物を正確に識別できるような画像を生成する。
Transfer learning（転移学習） 学習させたモデルや重みを別のドメインで再利用し学習をする手法。０から集めるよりも少ないデータ数かつ訓練回数で精度がでることが知られている。
DQN（Deep Q-Network） Alphagoで利用された手法。強化学習における行動価値関数の値が高くなるように学習する手法を真似、Q学習をパラメータ追加した近似関数として表現しディープラーニングする手法。
CapsNet ニューロンでの計算を入出力共にベクトルで行うことで、データの位相空間情報を保持したカプセルという単位で特徴を学習するディープラーニング。CNNが相対的な位置関係の特徴を学習仕切れない問題に対応した。
NOLS デーtあの中にあっても人が気づいていない、直接見えないパターンを特徴量として使用する。反射光を利用する手法。
GQN 写真などの2次元画像から被写体となった3次元物体を推定する技術。
GNN グラフ構造を入力とするニュ=ラルネットワーク。グラフ構造を行列で表現して入力として利用することで、CNNやオートエンコーダ、RNNに適応できる。
アテンション構造 入力の中で特に重要だと思われる要素にマーキングして重み行列の値や重要度に応じて動的に調整する仕組み。

応用した製品

自立致死性兵器（LAWS）　人工知能などにより自律的に行動し強力な殺傷能力を持つ兵器。
アシロマAI原則では、AIによる軍拡競争は避けるべきであると名言されている。

Tay：Microsoftの会話ロボット。

AI自動交渉:FaceBookが開発。相手に提示すべき合意条件庵の自動生成と、提示された合意条件案に対する受諾、拒否の自動判断を行う。ANACと呼ばれる、国際児童交渉エージェント協議会なるものもある。

タンパク質構造予測：AlphaFold　

国家主導の計画

中国製造2025 中郷区の製造業発展のロードマップ。　ドイツが発表したインダストリー4.0の影響を受けて作成したと言われる。
ムーンショット型研究開発制度：日本初の破壊的イノベーションの創出を目的に、大胆は発送に基づく研究開発を内閣府手動ですすめる精度