G検定 用語集
- 赤池情報量規準
- アシロマAI原則
- アジャイル型
- アフィン変換
- アンサンブル学習
- 鞍点
- 一気通貫学習
- イテレーション
- 意味解析
- 意味ネットワーク
- インスタンスセグメンテーション
- エキスパートシステム
- オートエンコーダ
- オントロジー
- カーネル関数
- カーネルトリック
- カーネル法
- 過学習
- 確率的勾配降下法
- 隠れマルコフモデル
- 活性化関数
- 機械学習
- 記号接地問題
- 強化学習
- 教師あり学習
- 教師なし学習
- 局所コントラスト正規化
- 協調フィルタリング
- 協調ベースフィルタリング
- 局所最適解
- クラスタリング
- グリッドサーチ
- 決定木
- コスト関数
- 行動価値関数
- 勾配降下法
- 勾配消失問題
- 誤差逆伝搬法(バックプロパゲーション)
- 混合 正規分布
- 再帰型ニューラルネットワーク
- サーベイランス・キャピタリズム
- 自己アテンション機構
- シソーラス
- サポートベクターマシン
- シグモイド関数
- 次元削減
- 次元の呪い
- 自己符号化器
- シンギュラリティ
- 人工知能学会の倫理指針
- スタッキング
- 正規化線形関数（ReLU関数）
- 積層オートエンコーダ
- 線形回帰
- ソフトマックス関数
- 畳み込みニューラルネットワーク
- 単純パーセプトロン
- ダートマス会議
- データバイアス問題
- 知識グラフ
- 第1次AIブーム
- 第2次AIブーム
- 第3次AIブーム
- データサイエンス
- データバイアス問題
- トイプロブレム
- トロッコ問題
- ドロップアウト
- ディープニューラルネットワーク（DNN：Deep Neural Network）
- ナレッジエンジニア
- 内部共変量シフト
- ニューラルネットワーク
- ノーフリーランチ定理
- 内容ベースフィルタリング
- 内部共変量シフト
- メル周波数ケプストラム係数
- バーニーおじさんのルール
- バギング
- バリアンス
- 秘密計算
- ファインチューニング
- 汎用型AI
- バウンディングボックス
- ホールドアウト法
- ファインチューニング
- 物体セグメンテーション
- フレーム問題
- フォルマント
- 汎化誤差
- ラッソ回帰
- ランダムフォレスト
- リッジ回帰
- リストワイズ法
- レザバーコンピューティング
- ロジスティック回帰
- 醜いアヒルの子の定理
- AI効果
- AI OCR
- Adagrad
- AlphaGo
- AlphaFold
- AlexNet
- BiRNN
- CNN（畳み込みニューラルネットワーク）
- Cycプロジェクト
- Cycle-GAN
- CIFAR-10
- DeepFace
- Early Stopping
- ENIAC
- EfficientNet
- ELSI
- GAN
- GDPR
- GoogLeNet
- GPGPU
- GNMT
- ILSVRC
- k-means
- kNN法
- LASSO
- L2正則化
- Leaky ReLU
- MaxPoling
- MAML
- MinMax法
- Numpy
- NOLS
- TF-IDF
- Ridge関数
- OpenPose
- P値
- PARRY
- PCA(主成分分析)
- pix2pix
- Pytorch
- Q学習
- RNN(リカレントニューラルネットワーク)
- Skip-gram
- t-SNE
- TF-IDF
- TensorFlow
- VAE
- VGGNet
- Word2Vec
- WaveNet
- YOLO
赤池情報量規準
統計的モデルの予測性の良さを、観測値と理論値の差（残差）を用いて評価する統計量。値が小さいほど当てはまりが良いと言える。
アシロマAI原則
研究目標や研究文化における研究課題の他、AIの短期的、長期的な課題について公開したもの。
安全性の検証や透明性の確保など２３項目で構成される。
アジャイル型
開発の手法
開発着手時点で、ゴールを厳密に定義できない開発に適する。仕様変更に柔軟に対応可能な反面、プロジェクト管理が難しい欠点もある。
アフィン変換
平行移動と線形変換を組み合わせた変換のこと。
線形変換とは、「変換の前に直線だった場所は、変換後も直線のまま保たれる」変換のこと。直線が変換によって曲がったりしない。ということ。
さらに、「直線上に点A,B,Cが並んでいたとき、変換の前後でAB:BCの比が変化しない」
アンサンブル学習
簡単に言えば多数決をとる方法で、個々に別々の学習器として学習させたものを、融合させる事によって、未学習のデータに対しての予測能力を向上させるための学習です。
複数のモデルを使用し、全体の汎化性能をあげる手法
鞍点
ある次元から見れば極小であるものの、別の次元から見ると極大になってしまっているもののこと。
一気通貫学習
ロボットの一連の動作を一つのニューラルネットワークで実現しようとする学習。
イテレーション
Iteration(イテレーション)とは、日本語訳で「反復、繰り返し」などの意味がある。
シリコンバレーにおける定義としては、おもにアジャイル開発で用いられる短期間で反復しながら効率的に開発を進めるサイクルの1つの反復である。
意味解析
目的プログラム生成行程プログラミング言語において、コンパイラーがソースコードを解析し目的プログラムを生成する際の処理工程のひとつ。
意味ネットワーク
言語の意味あるいは一般的な知識を人間の直観に即して効率よく表現しようとする試みである。そのいくつかは 認知科学的視点にもとづいて提案されている。
インスタンスセグメンテーション
物体認識で、個々の物体ごとに認識させる場合に使用する手法。
物体１つ１つの位置を検出し、かつ物体を画素（pixel）単位で『分類』したいときに使う物体検出。
エキスパートシステム
「知識ベース」と「推論エンジン」から構成。知識が豊富になると蓄積/管理の手間が膨大。
オートエンコーダ
オートエンコーダとは、ニューラルネットワークの構造を使った次元圧縮手法です。
オートエンコーダはニューラルネットワークの仕組みの１つです。入力されたデータに次元削減の処理をして、特徴抽出するものです。
オントロジー
「語彙」「意味」「関係性」を他者と共有できるように定められた概念化の仕様。
カーネル関数
カーネル関数は、特徴空間中のデータの座標の明示的な計算を経由せずに、特徴空間における内積をデータから直接計算する手段を与える。内積を評価するためにカーネル関数を使うと、明示的な座標の計算を経るよりもしばしば計算量が少なくて済む。カーネル関数を使って、計算複雑度の増大を抑えつつ内積にもとづく解析手法を高次元特徴空間へ拡張するアプローチを、一般にカーネルトリックと呼ぶ。カーネル関数はベクトルのみならず、系列データ、テキスト、画像、グラフなどに対しても導入されている。
カーネルトリック
https://home.hiroshima-u.ac.jp/tkurita/lecture/svm/node6.html
カーネル法
サポートベクトルマシン(SVM)などで、線形分離を行うために、高次元空間へ拡張する方法。
過学習
「過学習（過適合）」とは、学習（訓練）データにあまりに適合しすぎて、学習（訓練）データでは正解率が高いのに学習（訓練）データとは異なるデータ（例えば、評価データ）では正解率が低くなってしまう、つまり、学習（訓練）データだけに最適化されてしまって汎用性がない状態に陥ることです。
確率的勾配降下法
勾配法という最適化手法において必要な勾配の計算を、確率を使うことで高速に行う方法です。
隠れマルコフモデル
「確率的な状態遷移と確率的な記号出力を備えたオートマトン」と言えます。主な使用目的は「観測された記号系列の背後に存在する状態の遷移系列を推測する」ことです。
活性化関数
ニューラルネットワークにおいて、線形変換をした後に適用する非線形関数もしくは恒等関数のことである。
活性化関数のまとめ（ステップ、シグモイド、ReLU、ソフトマックス、恒等関数）
機械学習
機械に大量のデータからパターンやルールを発見させ、それをさまざまな物事に利用することで判別や予測をする技術
記号接地問題
人工知能において、実世界にある事物の名称と、コンピューター内部で扱う記号との結びつけに伴う問題。シンボルグラウンディング問題。
人間は、「リンゴ」という文字列と実物のリンゴとの結びつき、さらに、切って皿に盛りつけたリンゴや、リンゴの菓子、リンゴジュースなどとの関係も理解できる。しかし、コンピューター内部の記号処理では、「リンゴ」と「apple」という文字列は容易に結びつけられるが、実物のリンゴと結びつけることは困難である。つまり、コンピューター内部で扱う記号に本質的な意味を与えることができるのか、記号と事物をどのように結びつけるのかという問題といえる。
強化学習
強化学習とは、試行錯誤を通じて「価値を最大化するような行動」を学習するものです。
教師あり学習
「教師あり学習」とは「入力データ」と「正解データ」がセットになった訓練データです。コンピュータに対して大量の「入力データ」と「正解データ」を投入することでコンピュータが入力データの特徴を読み取り、正解データを学習します。
教師なし学習
「教師なし学習」とは教師あり学習と異なり「正解データ」が与えられていません。コンピュータ自身がクラスタリングとよばれる共通項をもつクラスタに分けたり、頻出パターンを見つけ出す学習方法です。
局所コントラスト正規化
画像処理の分野で異なるスケールの特徴量を同時に扱えるようにするため、減算正規化と除算正規化を行う
協調フィルタリング
ある対象者が商品をチェックまたは購入したデータと、対象者以外がチェックまたは購入したデータの両方を用い、その購入パターンから人同士の類似性、または商品間の共起性をアソシエーション分析（相関分析）で解析し、対象者個人の行動履歴を関連づけることでパーソナライズされた商品を提示することができる手法。
協調ベースフィルタリング
ユーザーの購買履歴からおすすめを表示するアプローチ。
局所最適解
・勾配降下法において、誤差は最小ではないが勾配が非常に小さくなる値(極小値)に収束してしまう問題
・このような値を停留点・鞍点と呼ぶ
クラスタリング
クラスタリング (clustering) とは，分類対象の集合を，内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割することす．統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ，基本的なデータ解析手法としてデータマイニングでも頻繁に利用されています．
グリッドサーチ
全てのパラメータの組み合わせを試してみる方法。
ハイパーパラメータのチューニング手法の1つである、初期パラメータを複数用意し、それぞれで学習を行いパラメータを決定する手法
決定木
決定木は条件による分岐を「根」からたどることで、最も条件に合致する「葉」を検索するアルゴリズムです。学習データをもとに説明変数から成る条件式をノードとして作成し、「葉」の部分で予測結果を導き出せるようなモデルを自動作成します。分類問題、回帰問題、どちらにも対応が可能でそれらは各々回帰木・分類木と呼ばれています。
コスト関数
https://qiita.com/yusayusa/items/0b0a7a56c30b685aa521
行動価値関数
勾配降下法
訓練テストに対してコストが最小になるように、モデルパラメータを少しづつ操作し、モデルを訓練テストに対して適合したパラメータに収束させる方法です。
勾配消失問題
勾配消失問題とは、機械学習手法のひとつであるニューラルネットワークの設計において、勾配が消失することで学習が進まなくなる技術的な問題のことです。
ニューラルネットワークによる学習を行う際、最もシンプルなモデルである単純パーセプトロンでは線形分離可能な問題しか学習できませんでした。
したがって、非線形分離が必要となる問題では、パーセプトロンを多層化する必要があります。
多層化する場合に新たに問題になるのは、予測値と実際の値の差分である誤差を最小化する、いわゆる最適化問題が複雑化することです。
https://ai-kenkyujo.com/term/gradient-loss-problem/
誤差逆伝搬法(バックプロパゲーション)
誤差を最小化して任意関数を近似することが出来る。 そのアルゴリズムは次の通りである：
ニューラルネットワークに学習のためのサンプルを与える。
ネットワークの出力を求め、出力層における誤差を求める。その誤差を用い、各出力ニューロンについて誤差を計算する。
個々のニューロンの期待される出力値と倍率 (scaling factor)、要求された出力と実際の出力の差を計算する。これを局所誤差と言う。
各ニューロンの重みを局所誤差が小さくなるよう調整する。
より大きな重みで接続された前段のニューロンに対して、局所誤差の責任があると判定する。
そのように判定された前段のニューロンのさらに前段のニューロン群について同様の処理を行う。
このアルゴリズムの名が暗示するように、エラー（および学習）は出力ノードから後方のノードへと伝播する。技術的に言えば、バックプロパゲーションはネットワーク上の変更可能な重みについて、誤差の傾斜を計算するものである。この傾斜はほとんどの場合、誤差を最小にする単純なアルゴリズムである確率的最急降下法で使われる。「バックプロパゲーション」という用語はより一般的な意味でも使われ、傾斜を求める手順と確率的最急降下法も含めた全体を示す。バックプロパゲーションは通常すばやく収束して、対象ネットワークの誤差の局所解を探し出す。
バックプロパゲーションを行う場合、ネットワークは少なくとも三層以上でなければならない（入力層、中間層、出力層）。また、多層ネットワークの中間層が意味のある関数を表すには、非線形の活性化関数でなければならない。線形な活性化関数の多層ネットワークは、単層ネットワークと等価である。非線形の活性化関数としては、ロジスティック関数(中でも tanh などのシグモイド関数)、ソフトマックス関数、ガウス関数などが一般的であったが、中間層の活性化関数としては現在はmax(x, 0) が最善であるとされている。
バックプロパゲーションのアルゴリズムは何度か再発見されており、逆積算モードにおける自動微分という汎用技法の特殊ケースと見ることもできる。
また、ガウス・ニュートン法とも密接に関連する。
混合 正規分布
GMM（混合ガウスモデル）を用いて各データ点の分布のパラメータを推定できればその推定したパラメータを元に、あるデータ点がどんなガウス分布に属しているかを推定できる.
再帰型ニューラルネットワーク
https://www.imagazine.co.jp/%E5%86%8D%E5%B8%B0%E5%9E%8B%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF%E3%81%AE%E3%80%8C%E5%9F%BA%E7%A4%8E%E3%81%AE%E5%9F%BA%E7%A4%8E%E3%80%8D/
サーベイランス・キャピタリズム
監視資本主義（サーベイランスキャピタリズム）は、あなたの個人データが商品となり、このデータの収穫と生産がインターネットの大規模な監視に依存している市場主導型のプロセスを説明するものだ。監視資本主義という用語は、2014年にハーバード大学のショシャナ・ズボフ（Shoshana Zuboff）によって造語された。
https://www.axion.zone/surveillance-capitalism/
自己アテンション機構
https://medium.com/lsc-psd/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%81%AE%E5%B7%A8%E7%8D%A3-transformer-%E3%81%AEself-attention-layer%E7%B4%B9%E4%BB%8B-a04dc999efc5
シソーラス
言葉や単語を同義語や意味上の類似関係、包含関係などによって分類した辞書、あるいはデータベースのこと。例えば、『日本』を表す表現として「日本」の他にも、「大和」、「倭」、「Japan」、「JPN」、「Nippon」など複数の表現があるが、シソーラスにこれらの言葉が登録されていれば、「Japan」と検索した場合でも「日本」をキーワードとした文書を検索することができる。逆に、シソーラスの処理が介在していないと、意味は同じ「日本」でも「Nippon」と表記している文書は検索から漏れてしまう。法人や個人なども同様に誤った情報の入力や欠落などによって、正しい情報と乖離するケースが生じてしまう。
サポートベクターマシン
サポートベクターマシン（SVM）は、1995年頃にAT&TのV.Vapnikが発表したパターン識別用の教師あり機械学習方法であり、局所解収束の問題が無い長所がある。
「マージン最大化」というアイデア等で汎化能力も高め、現在知られている方法としては、最も優秀なパターン識別能力を持つとされている。
また、カーネル・トリックという魔法のような巧妙な方法で、線形分離不可能な場合でも適用可能になった事で応用範囲が格段に広がり、近年研究が盛んになっている。
しかし、データを2つのグループに分類する問題には優れているが、多クラスの分類にそのまま適用出来ず、計算量が多い、カーネル関数の選択の基準も無い等の課題も指摘され、一概に誤差逆伝播法等と比較して優れていると言い切れるものでもない。
SVMは厳密にはニューラルネットワークではないが、中間層から出力層への結合係数に該当するものを計算し、ニューラルネットワークと関連付けられる場合も多い。
シグモイド関数
https://mathtrain.jp/sigmoid
次元削減
データの情報を失わないようにデータを低い次元に圧縮する手法
次元の呪い
リチャード・ベルマン：「特徴量の数が増えれば増えるほど、指数関数的に問題が複雑になっていく」
自己符号化器
自己符号化器（auto encoder） とは，入力を訓練データとして使い，データをよく表す特徴を獲得するニューラルネットワークです．
教師データを使わない教師なし学習に分類され，ニューラルネットワークの事前学習や初期値の決定などの利用されます．
シンギュラリティ
シンギュラリティ（技術的特異点）とは、AIなどの技術が、自ら人間より賢い知能を生み出す事が可能になる時点を指す言葉です。米国の数学者ヴァーナー・ヴィンジにより最初に広められ、人工知能研究の権威であるレイ・カーツワイル博士も提唱する概念です。
レイ・カーツワイル博士は、「2029年にAIが人間並みの知能を備え、2045年に技術的特異点が来る」と提唱しており、この問題は2045年問題とよばれます。
2045年問題の根拠となっている理論が、「収穫加速の法則」です。
収穫加速の法則とは、「技術進歩においてその性能が直線的ではなく、指数関数的に向上する」という法則。一度、技術的な進歩が起きると、その技術が次の進歩までの期間を短縮させ、ますますイノベーションが加速する、という概念です。カーツワイル博士は、これによりシンギュラリティは2045年頃に来ると提唱しました。
人間以上の知性をもった「強いAI」が登場し、人間では予測不可能な変化が起こると言われています。
人工知能学会の倫理指針
①人類への貢献
②法規制の遵守
③他者のプライバシーの尊重
④公正性
⑤安全性
⑥誠実な振る舞い
⑦社会に対する責任
⑧社会との対話と自己研鑽
⑨人工知能への倫理遵守の要請
スタッキング
タッキングとは言葉の通りモデルを積み上げていく方法です。上手く利用することによりバイアスとバリアンスをバランスよく調整する事が可能です。
正規化線形関数（ReLU関数）
微分値が0以上の場合はそのままの値、0以下の場合は0となる。
積層オートエンコーダ
オートエンコーダを積み重ねて、逐次的に学習させる（事前学習）ことで重みを調整する
線形回帰
線形回帰は、教師あり学習のうち回帰を行う学習のひとつ。
説明変数の１次関数でで目的変数を予測する。
ソフトマックス関数
ソフトマックス関数とは、出力されたごちゃごちゃした数字を和が綺麗に100%(1.0)になる数字に変えてくれる関数
畳み込みニューラルネットワーク
単純パーセプトロン
「パーセプトロン」とは、複数の入力データ（入力信号）に対して、一つの値を出力する関数です。
一つしか使わないものを単純パーセプトロンと呼びます。
ダートマス会議
1956年、アメリカで開催
ジョン・マッカーシーが初めて「人工知能（AI）」という言葉を使った
世界初の人工知能プログラムといわれるロジック・セオリストのデモを実施
データバイアス問題
人に代わりデータ駆動型意思決定が行われる場合、学習データに内在する隔たりや偏見が判定に影響する。
知識グラフ
第1次AIブーム
推論・探索がその中心。
トイ・プロブレム（おもちゃの問題）は解けても、現実の問題は解けないことが判明。
第2次AIブーム
エキスパートシステムが流行し、ナレッジエンジニアが必要とされた。
第五世代コンピュータという大型プロジェクトを推進、エキスパートシステム等に取り組んだ。
知識の蓄積・管理は大変！ということに気づく。
エキスパートシステムとは、専門家（エキスパート）の知識をコンピュータに移植することにより現実の複雑な問題を人工知能に解かせようとするものです。
例えば、専門医の知識をコンピュータに移植すれば、患者の症状から病名を特定することができます。「頭が痛いですか？」、「倦怠感はありますか？」などといった質問をしていき、「頭が痛ければA~Eの病気の可能性がある」、「倦怠感がないのであればB、Dの二つの病気の可能性が高いだろう」といった具合です。
このエキスパートシステムによって人工知能の応用範囲をトイプロブレムのみでなく現実的な医療診断、会話アプリケーションなどにも及ぼせる事がわかってきたため、1980年代にはまた人工知能ブームが再燃していきます。これが第二次AIブームです。
第3次AIブーム
機械学習・特徴表現がその中心。
ビッグデータによる機械学習、特徴量によるディープラーニング（深層学習）が流行。
データサイエンス
データサイエンスは分野の専門知識、プログラミングのスキル、数学および統計の知識を組み合わた研究分野であり、データから有意義なインサイトを引き出します。データサイエンスのエキスパートは、数値、テキスト、画像、ビデオ、オーディオなどに機械学習アルゴリズムを適用して、通常は人間の知能を必要とするタスクを実行できる人工知能（AI）システムを構築します。これらのシステムでは、アナリストやビジネスユーザーによってビジネス上の目に見える価値に変えられるインサイトが生成されます。
データバイアス問題
トイプロブレム
迷路や数学の定理の証明と言った簡単な問題は解けても、現実世界に存在する複雑な問題は解けないという、人工知能が直面した問題です。
トロッコ問題
トロッコ問題あるいはトロリー問題とは、「ある人を助けるために他の人を犠牲にするのは許されるか？」という形で功利主義と義務論の対立を扱った倫理学上の問題・課題。
ドロップアウト
ディープラーニングの「過学習」を防ぐ技術。
ディープニューラルネットワーク（DNN：Deep Neural Network）
ニューラルネットワークをディープラーニングに対応させて4層以上に層を深くしたもののことである。従来のニューラルネットワークでは、基本的に、1つの入力層、1つの隠れ層、1つの出力層、の3層で構成されていた。ディープラーニング登場以前は、隠れ層を2つ以上に増やして合計4層以上のネットワークにすると、精度が出なくなる問題があった。そのため、ニューラルネットワークが登場してからも長らくは、4層以上が使われることは基本的になかった。しかし2006年、ディープラーニングの手法が考えられてから、その問題が克服された。さらに2010年ごろから、ビッグデータがより容易に扱えるようになったことや、GPUなどのコンピュータ性能の大幅な向上が重なったことがブレークスルーとなり、今では高度なDNNを誰でも実行できる時代になっている。
ナレッジエンジニア
人工知能（AI）を応用したシステム構築を専門とする技術者（エンジニア）のことである。
ナレッジエンジニアにより設計・開発された人工知能システムの事例としては、コンピュータをベースにした機械翻訳システム、医療診断システム、資源探査システム、あるいは原子力発電の故障診断システム等に代表されるエキスパートシステムなどを挙げることができる。
内部共変量シフト
大規模なニューラルネットワークを学習すると、ある層の入力がそれより下層の学習が進むにつれて変化してしまうことがある。これにより学習が止まってしまうことが考えられる。このことを内部共変量シフトと呼ぶ。
内部共変量シフトの対策はバッチ正規化が使用される。各層で出力を正規化することで、層が深くなっても入力の分布の変化が少なくなると考えられる。
ニューラルネットワーク
ニューラルネットワークは、脳機能に見られるいくつかの特性に類似した数理的モデルである。「マカロックとピッツの形式ニューロン」など研究の源流としては地球生物の神経系の探求であるが、その当初から、それが実際に生物の神経系のシミュレーションであるか否かについては議論があるため人工ニューラルネットワーク（artificial neural network、ANN）などと呼ばれることもある。また生物学と相互の進展により、相違点なども研究されている。
「ニューラルネットワーク（Neural Network:NN）」とは、人間の脳内にある神経細胞（ニューロン）とそのつながり、つまり神経回路網を人工ニューロンという数式的なモデルで表現したものだ。近年、人工知能（AI）領域がブームになっているが、ニューラルネットワークは機械学習や深層学習（ディープラーニング）などを学ぶ際に知っておくべき基本的な仕組みである。
ノーフリーランチ定理
全てのタスクに対して常に他よりすぐれている万能的なアルゴリズムは存在しないこと
内容ベースフィルタリング
アイテムの特徴をもとにおすすめを表示するアプローチ。
内部共変量シフト
入力の分布が学習途中で大きく変わってくる問題。
データの分布が訓練時と推定時で異なるような状態のことを言います。
メル周波数ケプストラム係数
心理学者のStanley Smith Stevensらによって提案された、人間の音高知覚が考慮された尺度です。
1000Hzの純音の高さの感覚を1000メルと決めた上で、1000メルの半分の高さに感じた音を500メル、1000メルの2倍の高さに感じた音を2000メルという容量で定めたものです。
音の周波数[Hz]は音の高さに対応する物理量であった．人間の聴覚において音の高さを知覚する際の量としてメル尺度[mel]がある．人間の聴覚には，周波数の低い音に対して敏感で，周波数の高い音に対しては鈍感であるという性質がある．音の周波数とメル尺度の間の関係は以下の図ようになり，メル尺度では低周波成分に対する分解能が高周波成分に対する分解能よりも高いことがわかる．
バーニーおじさんのルール
学習に用いるデータ量の目安となる経験則
バギング
各学習器に使う学習用データをブースストラップサンプリングより取得し、その学習した学習器を予測に用いて多数決でクラス分類する方法。
バギングはBootstrap AGGregatINGに由来する命名で、学習データのブートストラップサンプルを利用して複数個の弱識別器の学習を行い、予測時にはそれら弱識別器の多数決で推論を行う手法です。弱識別器には決定木モデルがよく利用されます。
バリアンス
「バイアス」とは、偏りのことを意味し、「バリアンス」とはバラツキを意味する。
秘密計算
秘密計算とは、データを暗号化したまま計算できる技術です。一般的な暗号はデータの通信・保存を保護しますが、秘密計算はさらにデータの計算過程も保護することができます。
ファインチューニング
ファインチューニングは、学習済みモデルの最終出力層を付け替えるのですが、入力層に近い部分と出力層のパラメータも変更します。例えば、犬と猫と人間を分類するモデルを柴犬とゴールデンレトリバーを分類するモデル、人間を年代毎に分類するモデルのように学習済みモデルと比べて全く異なるモデルへと学習することができるようになります。
汎用型AI
特定の課題にのみ対応するのではなく、人間と同じようにさまざまな課題を処理可能な人工知能。
バウンディングボックス
画像、シェイプ、テキストを囲む長方形の枠線。
ホールドアウト法
機械学習におけるデータのテスト方法の1種。教師データ（訓練データ）を「学習用」「評価用」に7対3などに割合で2分割して、学習済みモデルの精度を測定する方法。
データのテスト手法の一種。
教師データ（訓練データ）を、あらかじめ学習用と評価用に6対4などに分割しておき、学習させたモデルを評価データで把握し、モデルの精度を確かめる方法のこと。
ファインチューニング
積層オートエンコーダにロジスティック回帰層（あるいは線形回帰層）を追加し、仕上げの学習を行う。
物体セグメンテーション
対象とする物体とその周囲の背景を境界まで切り分けるようなタスクを行うもの.
フレーム問題
実行しようとしていることと関連がある事柄を選び出すことが難しいという人工知能研究最大の難問
フォルマント
母音は声帯の振動によってできる基本周波数（75〜300Hz）と，その高調波（倍音）の集合からなりたつ音で，調音の過程で高調波中のある特定の周波数域にあるものだけが，特に強められて外部に放射される。この強められた成分音をフォルマントといい，各母音に特徴的な強さを示す。音声をソナグラフで分析すると，特有な図形となって現れ，基本振動数の２倍，３倍，４倍の第１，第２，第３フォルマントが言語音の分析上特に重要。
汎化誤差
汎化誤差 (generalization error)とは，学習して獲得した識別器などの，サンプルの母集団に対する誤差．期待損失 (expected risk) ともいう．
ラッソ回帰
教師あり学習で用いられるモデルの一つ。線形回帰にL1正規化を加えた手法
ランダムフォレスト
着目する特徴量をランダムに決定してその特徴量ごとに決定木を生成する手法。
リッジ回帰
教師あり学習で用いられるモデルの一つ。線形回帰にL2正規化を加えた手法
リストワイズ法
欠損があるサンプルをそのまま削除する方法。
欠損に偏りがある場合はデータの傾向を変えてしまうので注意が必要。
レザバーコンピューティング
レザバーコンピューティングは水面などが代表される複雑系力学から由来する。
ロジスティック回帰
醜いアヒルの子の定理
認知できる全ての客観的な特徴に基づくと全ての対象は同程度に類似している,つまり特徴を選択しなければ表現の類似度に基づく分類は不可能である,ということ
AI効果
人工知能で何か新しいことが実現され、その原理が分かってしまうと、「それは単純な自動化であって知能とは関係ない」と結論付ける人間の心理的な効果のこと
AI OCR
OCRにAI技術を加えたものです。AI技術を組み合わせることで、機械学習による文字認識率の向上や、帳票フォーマットの設計をせずに、項目を抽出することが可能になりました。
Adagrad
オンライン学習で学習率を自動調整する手法の一つ。
AlphaGo
Deppmind社が開発した囲碁の対戦プログラム。囲碁のトップ棋士を破る。
AlphaFold
DeepMindの研究チームは、タンパク質構造予測に対して従来にはなかったアプローチを採用したAIシステム「AlphaFold」を導入しました。
AlexNet
AlexNet (Krizhevsky et al., 2012) は、Hinton 教授らのチームによって発表された物体認識のためのモデル（アーキテクチャ）である。AlexNet が、物体認識のために、初めて深層学習の概念および畳み込みニューラルネットワークの概念を取り入れたアーキテクチャである。当時の画像分類チャレンジコンテスト（ILSVRC）において、AlexNet が飛躍てきな性能を果たした。
BiRNN
LSTMを２つ組み合わせて、過去から、未来からの双方向で学習できるようにしたモデルです。
CNN（畳み込みニューラルネットワーク）
:画像データに適したニューラルネットワーク
【前提と課題】
一般的な数値データと画像データとの違い
⇒縦横の2次元である点
厳密には、画像はRGBやHSVといった色情報を持つので、数値情報としては3次元
画像を通常のニューラルネットワークに入力すると、1列に分解して並べる事になる為、
縦横斜めの関係性が失われてしまう。
【解決策】
CNN（Convolutional Neural Network） 畳み込みニューラルネットワークという手法を使う
CNNでは画像をそのまま2次元で入力に用いる事が出来るモデル
・画像分野ではCNNを用いるのが常識
・ディープラーニングの中でも一番研究が活発な分野の一つ
Cycプロジェクト
人工知能へのアプローチのひとつ。一般常識をデータベース化し（知識ベース）、人間と同等の推論システムを構築することを目的とするプロジェクト。
Cycle-GAN
CIFAR-10
このデータは、約8000万枚の画像がある80 Million Tiny Imagesからサブセットとして約6万枚の画像を抽出してラベル付けしたデータセット。
DeepFace
DeepFaceは画像内の顔から3Dモデリング技術で正面を向いた顔の画像を作り、これを1億2000万以上のパラメータを持つマルチレイヤーのデータにしてニューラルネットワークで共通ポイントを解析する。
Early Stopping
Deep Learningでは学習回数が多いほど訓練データへの誤差は小さくなるが、過学習を招いてしまう。そこで前のエポックの時と比べ誤差が増えたら学習を打ち切る手法を「Early Stopping」という。
ENIAC
1946年、アメリカ ペンシルバニア大学
世界初の汎用電子式コンピュータ
EfficientNet
ELSI
Ethics, Legal and Social Issues
GAN
生成モデル（generative model）の一つであり,生成ネットワークと識別ネットワークの 2 つのネットワークを対抗させるように学習させることで,得られる生成モデル（generative model）
GDPR
欧州議会、欧州理事会および欧州委員会が策定した新しい個人情報保護の枠組み。「EU一般データ保護規則」（GDPR：General Data Protection Regulation）が正式名称です。
IPアドレスやCookieのようなオンライン識別子も個人情報とみなされる。
企業は個人情報を取得する場合、自らの身元や連絡先、処理の目的、第三者提供の有無、保管期間などについてユーザーに明記し、同意を得なければならない。
大量の個人情報を扱う企業はデータ保護オフィサーを任命しなければならない。
個人情報を使用する目的を達成するために必要な期間以上に個人情報を保持してはならない。
GoogLeNet
GoogLeNet は、深さが 22 層の畳み込みニューラル ネットワーク。
GPGPU
（General-purpose computing on graphics processing units; GPUによる汎用計算）とは、GPUの演算資源を画像処理以外の目的に応用する技術のことである。
GNMT
ILSVRC
ILSVRCは2010年から始まった大規模画像認識の競技会です。
現在は参加しているチームの殆どがDeep Learningを使用しており、
画像認識Deep Learningの大きな競技会と言えます。
k-means
教師なし学習。入力データからk個のグループ構造を見つけ出してまとめる手法
kNN法
KNN(K Nearest Neighbor)。クラス判別用の手法。
学習データをベクトル空間上にプロットしておき、未知のデータが得られたら、そこから距離が近い順に任意のK個を取得し、多数決でデータが属するクラスを推定する。
LASSO
いくつかのパラメータをスパースにする。
L2正則化
パラメータのノルムにペナルティを課す。
Leaky ReLU
関数への入力値が0より下の場合には出力値が入力値をα倍した値（※αの値は基本的に0.01）、入力値が0以上の場合には出力値が入力値と同じ値となる関数である。
MaxPoling
MAML
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
MinMax法
後手番では評価値が最小（Min）になる（＝もっとも後手にとって有利である）手を選び、先手番では評価値が最大（Max）になる（＝もっとも先手にとって有利である）手を選ぶというアルゴリズムである。
Numpy
NumPyは、Pythonで数値計算を効率的に行うためのライブラリです。NumPyはオープンソースで公開されており、個人／商用問わず、誰でも無料で利用することができます。
NumPyを使うと、ベクトルや行列などの多次元配列の処理を容易に行うことができるようになります。またPythonだけで数値計算を行うのと比較して、非常に高速に処理を行うことができます（NumPyの内部はC、及びFortranというプログラム言語で実装されています）。
機械学習は、多次元配列に対して演算を行いながらモデルを学習していきます。NumPyを使うとそのような処理が効率的に行えるようになるため、Pythonで機械学習を行うには、NumPyは必須のライブラリとなっています。
NOLS
画像認識 では、何かに遮られて直接見ることができない位置にある物体を、可視範囲の別の物体からの反射光などを利用して認識する。
TF-IDF
文書中に含まれる単語の重要度を評価する手法の1つであり、主に情報検索やトピック分析などの分野で用いられている。
Ridge関数
特徴量選択は行わないが、パラメータのノルムを小さく抑える。
OpenPose
OpenPoseはカーネギーメロン大学（CMU）の Zhe Caoら が「Realtime Multi-Person pose estimation」の論文で発表した、深層学習を用いて人物のポーズを可視化してくれる手法。
P値
統計的仮説検定において、帰無仮説の元で検定統計量がその値となる確率のこと。P値が小さいほど、検定統計量がその値となることはあまり起こりえないことを意味する。
PARRY
PARRY は、ELIZAと共に有名な初期の会話ボットである。1972年、精神科医の Kenneth Colby がスタンフォード大学にいたころに作った。ELIZA が来談者中心療法のセラピストのからかい半分のシミュレーションであったのに対して、PARRY は偏執病的統合失調症患者をシミュレートしようとしたものである。プログラムは偏執病的統合失調症患者の振る舞いを大雑把にモデル化したもので、概念、概念化、信念（概念化についての判断: 受容、拒絶、中間）などに基づいている。会話戦略も組み込まれていて、ELIZA よりもずっと真面目で進んだプログラムであった。
PARRY と ELIZA（DOCTOR）は何度か対話したことがある。最も有名な会話は ICCC 1972 でのもので、PARRY と ELIZA は ARPANET 上の別ノード上で動作し、通信によって会話を行った。
PCA(主成分分析)
線形結合からデータ内の分散が大きくなるような特徴量を見つける.
pix2pix
GANを利用した画像生成アルゴリズムの一種で、2つのペアの画像から画像間の関係を学習することで、1枚の画像からその関係を考慮した補間をしてペアの画像を生成する技術。
Pytorch
PyTorchとはPython向けのオープンソース機械学習ライブラリで、Facebookの人工知能研究グループにより初期開発されました。冒頭でも触れましたが、PyTorchは2016年後半に発表された比較的新しいライブラリです。
PyTorchの原型は「Torch（読み：トーチ）」と呼ばれる機械学習ライブラリです。Googleに買収されたDeepMind社もTensorFlow以前はTorchを利用していたと言われています。Torchは「Lua言語」で書かれていましたが、Pythonのサポートを行ったのがPyTorchです。
Q学習
Q値を学習するためのアルゴリズムのひとつがQ学習
RNN(リカレントニューラルネットワーク)
時間的構造をモデル化するもので、再帰的なつながりを持つネットワーク。
ここでいう時間的構造とは、単純な時系列だけでなく自然言語や音など、順序的な構造を含むデータである。
系列予測、姿勢制御、自然言語処理への応用が考えられている。
勾配消失、勾配爆発問題を回避する。
Skip-gram
t-SNE
自由度1のt分布を用いて高次元データを2次元や3次元に落とし込むため非線形の分析手法。
TF-IDF
tf-idfは、文書中に含まれる単語の重要度を評価する手法の1つであり、主に情報検索やトピック分析などの分野で用いられている。
tf-idfは、tf（英: Term Frequency、単語の出現頻度）とidf（英: Inverse Document Frequency、逆文書頻度）の二つの指標に基づいて計算される。
TensorFlow
「Tensor(テンソル)」とは、線形の量を表す概念で、多次元データ構造を表すものです。「TensorFlow」は、多次元データ構造を流れるように処理し、ディープラーニングを行います。
TensorFlowの特徴として、データフローグラフによる柔軟性、ローレベルオペレータも手書きできる汎用性、高いパフォーマンス、スケーラビリティ、研究レベルから実プロダクトまで扱える効率性などがあります。
利用方法例として、画像に写っているものを認識して文章化するアルゴリズム、各種数値計算、自然言語処理(翻訳)、など多岐におよび、新しい応用分野が広がり続けています。
コア部分はC++で実装されていて、ユーザ向けにPythonのインターフェースが用意されています。
VAE
ディープニューラルネットの生成モデル（generative model）の例として,自己符号化器の潜在変数に確率分布を導入した。
VGGNet
VGGNetの特徴としてはシンプルなアーキテクチャを持ち、また3×3のカーネルサイズの小さな畳み込みを多く利用していることが挙げられます。この3×3のサイズの小さな畳み込みを利用し、チャネル数を増やすという構造はResNetなどVGGNet以降の様々なモデルで利用されるようになりました。
Word2Vec
Word2vecは、 Googleのトマス・ミコロフ率いる研究者チームによって2013年に作成および公開され、特許を取得された。 アルゴリズムは他の研究者によって分析され、説明された。 Word2vecアルゴリズムを使用して作成された埋め込みベクトルには、 潜在的意味分析などの以前のアルゴリズム比べていくつかの利点がある。
WaveNet
囲碁で世界トップの実力を持つプロ棋士に勝利したAI「AlphaGo」を作った、Google傘下のDeepMindが開発した。波形接続TTSではなくパラメトリックTTSを利用している。2016年にモデルが発表され、2017年に実用化段階にいたった。最初のリリース時点（2016年）ではWaveNetは非常に計算コストが高く、0.02秒の音声を生成するのに1秒を要していた。（たった１秒の音声を生成するのにほぼ１分近い時間がかかっていたことを意味する。）そのため、実用には適していなかった。その後、新しく改良されたWaveNet（2017年）は、実時間に比べて20倍の速さで音声を生成するようになった。（2秒の音声を0.1秒で生成することを意味する。）さらに8ビットではなく16ビットで、1秒あたり2万4000回という高いレートでサンプリングを行なうことも可能になった。
YOLO
YOLO (You Only Look Once)はCVPR 2016で発表されたYou Only Look Once: Unified, Real-Time Object Detectionで提案された手法。
