G検定(ディープラーニング) 頻出一問一答

seq2seqはエンコーダが入力系列を文脈ベクトルに符号化し、デコーダがそれを基に出力系列を逐次生成する構成で、機械翻訳などに用いられる。

現行法では著作物は「思想又は感情を創作的に表現したもの」であり、人間の創作的寄与のない完全自動生成物は著作権保護の対象外とされる。

メンバーシップ推論やモデル反転は、モデルの出力から学習データの所属や内容を推測しプライバシーを脅かす攻撃である。

GELUやSwishはReLUより滑らかな非線形関数で、負の領域でも緩やかに値を持つ。勾配の流れが良好で、Transformerなどで高い性能を示すことが多い。

2012年のILSVRCでAlexNetが従来手法に大差をつけて優勝し、ディープラーニングブームの契機となった。

教師なし学習は正解ラベルを使わずデータの構造を見つける。クラスタリングや次元削減が代表例である。

プロンプトは生成AIへの入力指示文で、その内容により出力の質や方向が大きく変わる。

混同行列は真陽性・偽陽性・真陰性・偽陰性の件数を表にしたもので、各種評価指標の算出基礎となる。

需要予測は過去の販売データや季節要因などから将来の需要を見積もり、在庫や発注の最適化に役立てる活用である。

自己情報量は事象の確率の対数の符号を反転した量で、起こりにくい事象ほど大きな値をとる。

RLHFは人間の選好を報酬モデルとして強化学習し、LLMの出力を人間にとって望ましいものへ調整する手法である。

ワンホットエンコーディングはカテゴリ変数を、該当カテゴリのみ1で他が0のベクトルに変換する手法で、順序のないカテゴリを数値特徴として扱える。

CLIPは大量の画像とテキストの組を対照学習で同じ埋め込み空間に対応づけ、未学習カテゴリでも文によるゼロショット分類を可能にしたマルチモーダルモデルである。

データポータビリティの権利は、本人が提供した個人データを再利用可能な形式で受け取り移転できる権利である。

情報量の期待値であるエントロピーは、確率分布の不確実性(乱雑さ)の大きさを表す。

尤度は、あるパラメータのもとで観測データが得られる確率をパラメータの関数として見たものである。

k分割交差検証はデータをk個に分け、各分割を検証に使う評価をk回行い、性能を安定して見積もる手法である。

RLHFは人間の選好データから報酬モデルを学習し、その報酬を用いた強化学習で言語モデルの出力を人間の意図に沿うよう調整する手法である。

社会信用スコアリングやサブリミナル操作、無差別な顔画像収集等は禁止カテゴリに含まれる。

エルボー法はkを変えながらクラスタ内平方和(SSE)をプロットし、減少が鈍化する『肘』の点を適切なkの目安とする手法である。シルエット係数も用いられる。

ロジスティック回帰はシグモイド出力の確率に対し、交差エントロピー(対数尤度に基づく対数損失)を最小化してパラメータを推定する。

k近傍法は予測時に最も近いk個の訓練データを参照する怠惰学習で、事前のモデル学習をほとんど行わない。

GloVeはコーパス全体の単語共起頻度の比に基づいて単語ベクトルを学習する手法で、局所的な文脈窓を使うword2vecと対比される分散表現手法である。

ViTは画像を小さなパッチに分割し、各パッチをトークンのように扱ってTransformerで処理する画像認識モデルで、大規模データで高い性能を示す。

Early stoppingは検証誤差を監視し、改善が止まり悪化に転じた時点で学習を停止することで過学習を抑える正則化的な手法である。

自己回帰生成では未来の情報を見てはならないため、デコーダの自己注意で未来位置のスコアを-∞などにして無効化する。これをマスク付き自己注意(因果マスク)と呼ぶ。

基盤モデルは大規模事前学習+適応(ファインチューニング/プロンプト)で幅広いタスクに使える汎用モデルの総称。

L1正則化は重みの絶対値和をペナルティとし、不要な重みをゼロにするスパース化(特徴選択)の効果を持つ。

1×1畳み込みは空間サイズを変えずチャネル数を変換でき、チャネル間の線形結合として次元削減や特徴統合に使われる。Inceptionなどで計算量削減に活用される。

方策勾配法は行動を選ぶ方策を直接最適化し、期待累積報酬が増す方向にパラメータを更新する強化学習手法である。

大数の法則は、試行回数(標本数)を増やすほど標本平均が母平均(期待値)に収束していくことを述べる法則である。

事前学習済みモデルを固定の特徴抽出器として使い、追加した分類層など一部のみを学習する方式は特徴抽出型の転移学習と呼ばれる。

幾何分布は、独立なベルヌーイ試行で初めて成功するまでの回数(または失敗回数)を表す離散分布。各回が2値をとるベルヌーイ試行を前提とする。

CycleGANは、変換して元に戻すと元画像に近づくべきという循環一貫性(cycle consistency)損失を導入し、ペアになっていない画像集合間でスタイル変換などを学習できる。

EUのAI規制はリスクベースで、政府による社会的スコアリングやサブリミナル操作などを許容できないリスクとして原則禁止に分類する。

30条の4は非享受目的の利用を対象とし、表現の享受目的の利用や権利者の利益を不当に害する場合は対象外となりうる。

学習率や層数・正則化係数などのハイパーパラメータは学習開始前に設定する。重みやバイアスなどのパラメータは学習中に勾配などで自動的に更新される。

ELIZAは1966年に作られた対話プログラムで、心理カウンセラーを模倣した応答を行った。

SGDは全データではなく少数のサンプルから勾配を推定して更新するため計算が軽く、大規模データに適する。

人間には知覚できない微小な摂動でパンダ→テナガザル等の誤分類を誘発できる。頑健性研究の中心課題。

ファインチューニングは事前学習済みの重みを初期値として新タスクのデータで追加学習し、重みを微調整する。ドメイン適応は分布の異なるドメイン間で性能を保つ工夫を指す。

XAIはSHAPやLIME、Grad-CAM等で予測根拠を可視化・説明し、信頼性・説明責任の確保に用いる。

公平性は、AIの判断が性別や人種などの属性によって不当に差別を生じないことを目指す概念である。

事後確率は観測データ(尤度)を用いて事前確率を更新した後の確率で、ベイズ推定の出力となる。

適合率は陽性と予測した中で本当に陽性だった割合(TP/(TP+FP))で、誤検出の少なさを表す。

ハルシネーションは学習分布からの生成に起因する誤情報の生成。RAGや出典提示で軽減を図る。

第一種の誤りは帰無仮説が真であるのに棄却する誤りで偽陽性に相当する。許容確率が有意水準αに対応する。

セマンティックWebはWeb上の情報に意味づけを行い、機械が理解・処理できるようにする構想である。

CLIPは大量の画像・テキスト対で対照学習し、ゼロショット画像分類やテキスト条件付き生成の基盤となった。

Zero-shotは例を示さず指示のみでタスクを行わせる方法で、Few-shotは少数の例を与える方法である。