おなかが痛くてもコーヒーは飲む、近藤恭平です。
最近バックオフィスのメンバーに Cloud Practitioner の勉強会を実施しました。次は AIF だろうと思ったので、初学者向けに AIF の学習をする際や試験直前の振り返りの際に使える参考資料になることを願い執筆します。
AI・機械学習・深層学習の違い
| 用語 | 定義 |
|---|---|
| AI（人工知能） | 人間のような判断・推論をコンピュータで実現する技術の総称 |
| 機械学習（ML） | データからパターンを自動的に学習させる AI の実装手法 |
| 深層学習（DL） | 人間の脳神経回路を模した多層構造で学習する、ML の一手法 |
AI の進化：2つの時代
第1世代：ルールベース AI（〜2000年代）
人間がルールをプログラムする方式です。想定外のパターンに対応できず、ルールの数が増えるほど管理が複雑化します。
具体例（スパム判定）：
文章に "無料" が含まれる → スパムのような条件を人間が何百個も列挙する
第2世代：機械学習（2000年代〜現在）
多くのデータを与え、AI 自身にパターンを発見させる方式です。人間がルールを書く必要がなく、複雑・大量のパターンにも対応できます。
具体例（スパム判定）： スパム・正常メール10万件を学習させることで、判定ルールを AI が自動で導出する
機械学習の3つのタイプ
大きくは外部からの評価が入っているかどうかでタイプを2つに分けられ、次に評価の形（正解ラベルか報酬か）によってさらに分類されます。
| タイプ | 外部評価 | 評価の形 | 一言で |
|---|---|---|---|
| 教師あり学習 | あり | 正解ラベル | 正解を見せながら学習させる |
| 強化学習 | あり | 報酬・ペナルティ | 試行錯誤しながら報酬を最大化するよう学習させる |
| 教師なし学習 | なし | ー | データの構造だけを手がかりにパターンを発見させる |
教師あり学習（Supervised Learning）
正解ラベルつきのデータを使って学習させる方式です。「入力」と「正解の出力」のペアを大量に与えることで、新しい入力に対して正しい答えを予測できるようになります。
具体例（売上予測）： 過去の気温・曜日・来客数のデータ（入力）と実際の売上（正解）をセットで学習させ、来月の売上を予測する
教師なし学習（Unsupervised Learning）
正解ラベルなしのデータからパターンや構造を発見させる方式です。「何が正解か」を人間が定義しないため、データ自身のパターンや特徴を見つけたい場合に適しています。
具体例（顧客のグループ分け）： 購買履歴データを与えるだけで、「よく買う層」「たまに買う層」などのグループを AI が自動的に分類する
強化学習（Reinforcement Learning）
エージェント（AI）が環境の中で行動し、報酬を最大化するよう学習する方式です。正解データは不要で、試行錯誤の結果として最適な行動を習得します。
具体例（ゲーム AI）： チェス AI が手を打つたびに「勝ち＝プラス報酬・負け＝マイナス報酬」を受け取り、勝率が上がる手順を自ら発見する
代表的な予測である回帰と分類
何を予測するかによって、選択する手法が変わります。出力が数値なら回帰、ラベルなら分類です。
| 手法 | 出力の種類 | 具体例 |
|---|---|---|
| 回帰（Regression） | 連続する数値 | 明日の気温、来月の売上 |
| 分類（Classification） | カテゴリ・ラベル | 合格・不合格、スパム・正常 |
回帰（Regression）
連続する数値を予測する手法です。「どのくらい？」という問いに答えます。
具体例： 過去の気温・湿度・曜日データから、明日の来客数を数値で予測する
分類（Classification）
入力データをあらかじめ決めたカテゴリに振り分ける手法です。「どれに属するか？」という問いに答えます。
具体例： メールの内容を分析し、「スパム」か「正常」かの2択に分類する
その他のタスク
| タスク | 概要 |
|---|---|
| クラスタリング | 正解なしで似たデータをグループ化する（教師なし学習） |
| 次元削減 | 大量の特徴量を圧縮し、データの本質的な構造を抽出する |
機械学習のライフサイクル
AI は「データを投入すれば動く」ものではありません。以下の6フェーズを経て本番運用に至ります。
| フェーズ | 概要 |
|---|---|
| ① データの収集 | 必要なデータを集め、教師あり学習用にラベルを付与する |
| ② データの前処理 | 欠損値・表記ゆれを修正し、訓練・検証・テスト用に分割する |
| ③ 特徴量エンジニアリング | モデルが学習しやすい形に変数を加工・選択する |
| ④ トレーニング・チューニング・評価 | アルゴリズムを学習させ、ハイパーパラメータを調整し、精度を検証する |
| ⑤ デプロイ | 学習済みモデルを本番環境に展開し、推論できる状態にする |
| ⑥ モニタリング | 運用中の精度劣化（ドリフト）を継続的に監視する |
データの収集
機械学習の第一歩はデータを揃えることです。データベース・ログ・外部 API など様々なデータソースから必要なデータを集め、教師あり学習の場合は正解ラベルを付与します。
データの前処理
学習に使える形にデータを整える工程です。
- 欠損値の削除または補完、表記ゆれの統一
- データを 訓練用, 検証用, テスト用 に分割（実際の割合はプロジェクト毎に決定する）
- テストデータはデプロイ前の最終確認用として、学習には使用しない
具体例： 住所データの「東京都」「東京」「ﾄｰｷｮｰﾄ」を同一表記に統一する
特徴量エンジニアリング
実際にモデルの学習に投入するデータを抽出・成形する工程です。
- 日時データから「曜日」「時間帯」を取り出す
- 不要な特徴量を削除し、学習・推論の処理を軽くする
トレーニング・チューニング・評価
訓練データでモデルを学習させ、検証データで精度を確認します。精度が不十分な場合はモデル学習に必要なチューニングの値（ハイパーパラメータ）を調整しながら繰り返します。
- 分類問題：精度・再現率・F1スコアで評価します
- 回帰問題：平均二乗誤差（MSE）・平均絶対誤差（MAE）で評価します
デプロイ
学習済みモデルを本番環境に展開し、実際のデータに対してAIが予測・回答を返す処理（推論 / Inference）ができる状態にする工程です。
- リアルタイム推論： API 経由で即時に予測結果を返す（例：不正検知、レコメンド）
- バッチ推論： 大量データをまとめて処理し、結果をファイルに出力する（例：日次バッチ）
モニタリング
時間が経つとデータの傾向が変わり、モデルの精度が下がるドリフトが発生します。運用中も入出力データを継続的に監視し、性能悪化が見られれば上流工程に戻り再学習します。
モデル評価に関連する指標
モデルの性能を表現する方法・指標について紹介します。
混同行列（Confusion Matrix）
予測結果を「正解・不正解」の4パターンで整理した表です。
| 予測：陽性 | 予測：陰性 | |
|---|---|---|
| 実際：陽性 | TP / True Positive（正しく陽性） | FN / False Negative（見逃し） |
| 実際：陰性 | FP / False Positive（誤検知） | TN / True Negative（正しく陰性） |
- 見逃し（FN）が致命的なケース： 病気の見落とし、不正検知の漏れ
- 誤検知（FP）が問題なケース： 正常メールをスパム扱い
過剰適合・過学習（Overfitting）
訓練データに最適化しすぎて、未知のデータに対応できなくなる現象です。
具体例： 過去10年分の特定担当者の判断パターンを丸暗記したモデルが、担当者が変わった途端に精度を失う
過少適合（Underfitting）
学習が不十分で、訓練データにすら対応できない状態です。モデルが単純すぎる、または学習量が少ない場合に起きます。
具体例： 数百件しかないデータで学習させたスパム判定モデルが、明らかなスパムメールも正常と判定してしまう
AUC（Area Under the Curve）
モデルの分類性能を総合的に表す指標です。縦軸に「正しく陽性と判定できた割合（再現率）」、横軸に「誤って陽性と判定した割合（偽陽性率）」を取った曲線（ROC曲線）の下の面積（Area Under the Curve）で表します。
- AUC = 1.0： 完璧な分類性能
- AUC = 0.5： ランダムな予測と同等（判別能力なし）
深層学習（ディープラーニング）の仕組み
ニューラルネットワーク
人間の脳の神経細胞（ニューロン）のつながりを模した構造です。複数のノード（人工ニューロン）が層状に並び、入力から出力まで信号を伝播させ、最終的に予測値を出力します。
層（レイヤー）の概念
| 層 | 役割 |
|---|---|
| 入力層 | データを受け取る（例：画像のピクセル値） |
| 隠れ層（中間層） | 特徴を段階的に抽出・変換する。層が深いほど複雑なパターンを学習できる |
| 出力層 | 最終的な予測結果を出力する（例：「猫」「犬」の確率） |
「深層」学習の「深」は、この隠れ層が多い（深い）ことを指します。
特徴量エンジニアリングとデータの影響
特徴量（Feature）とは
AI が予測に使う「入力の変数」のことです。何を特徴量として与えるかが、モデルの精度に直結します。
具体例（売上予測）： 曜日・天気・近隣イベントの有無・前週の売上などを特徴量として設計する
不要な特徴量を除き、重要な情報だけを残す作業を特徴量エンジニアリングと呼びます。
データの偏り（バイアス）
学習データが特定の属性・条件に偏っていると、モデルの判断も偏ります。
具体例： 採用データが過去の男性社員のみで構成されていた場合、女性候補者を低評価するモデルが生成されるリスクがある
バイアスは学習データの収集時にすでに生じていることもあれば、ドリフトによって生じることもあります。
