データから学ぶ：機械学習とディープラーニング

2.1パラダイムの転換：プログラムするか、学ばせるか

機械学習（英語では machine learning）は、この論理を反転させる。もはや規則は与えない。与えるのは例（すでに「スパム」か「スパムでない」かのラベルが付いた何千通ものメール）であり、それらを見分ける規則を自ら発見するのは機械のほうである。プログラムするのは何をするかではなく、どう学ぶかなのだ。

図2.1. 根本的な逆転。機械はもはや規則を受け取るのではなく、例から規則を学ぶ。この学習の産物を「モデル」と呼ぶ。

2.23つの学び方

機械学習は大きく3つの系統に分かれる。以降のあらゆる箇所に繰り返し登場するので、きちんと区別しておく必要がある。

図2.2. 学習の3つの主要な系統。

やさしく言うと

、たとえ話で：

教師あり学習：添削してくれる先生のもとで学ぶこと。 生徒に、模範解答つきの練習問題を何千問も見せる。生徒はそこから一般的な解き方を導き出し、その後は初めて見る問題にもそれを当てはめる。最も広く使われている形であり、画像認識、翻訳、価格予測などがこれにあたる。
教師なし学習：模範解答なしで探索すること。 生徒に、何の手がかりもないまま文書の山を渡し、整理するよう求める。似たものをまとめ、場違いなものを見つけ出すのである。顧客のセグメント分けや、銀行の不正（「異常な」取引）の検知は、この方法で行われる。
強化学習（英語では reinforcement learning、RL）：試行錯誤で学ぶこと。 生徒はある環境のなかで行動し、うまくいけば報酬を、失敗すればペナルティを受け取り、報酬を最大化するよう少しずつ振る舞いを調整していく。AIにゲームをさせたり、ロボットを操縦させたり、そして後で見るように、LLMを役に立つ礼儀正しいものにしたりする学習は、この方法で行われる。

背景知識

3つの主要な方式の先にあるもの（転移学習、ベイズ、AutoML、能動学習）

上の3つの系統がすべてを語っているわけではない。いくつかの横断的な考え方が、道具箱を補っている。転移学習（transfer learning）とは、ゼロからやり直すのではなく、大きな課題ですでに学習済みのモデルを、近い課題の出発点として再利用することである。これはまさに、大規模モデルの事前学習とその後のファインチューニングの原理であり（第3章）、新しい問題のたびに何百万もの例を用意する必要がなくなった理由でもある。ベイズ的手法は確率で推論する。唯一の答えを出す代わりに不確実性を見積もる（「70%の確率で……」）のであり、誤りの代償が大きい場面（医療、金融）で貴重である。AutoML（およびアーキテクチャの自動探索）は、モデルの設計そのものを自動化し、最良の設定を機械に探索させる。最後に能動学習（active learning）は、ラベルを付けてほしい例をモデル自身に選ばせることで、コストのかかる人手のアノテーションを最小限に抑えつつ、すばやく学ばせる。いずれも同じ問いの変奏である。どうすればより少ないデータと労力で、よりよく学べるのか。

仕組みの詳細

強化学習の主要なアルゴリズム

強化学習（上述）は、いくつかのアルゴリズムの系統に分かれ、その名前は繰り返し登場する。Q-learningは、それぞれの状況について、とりうる各行動の期待価値（これが「Q」である）を学習し、最も見込みの大きい行動を選ぶ。ニューラルネットワークと組み合わせたものがDeep Q-Networkであり、画素情報だけからAtariのゲームをプレイすることを学んだ。方策勾配法（なかでも最も広く使われているのがPPO、Proximal Policy Optimization）は、急激な逸脱を避けるために慎重な小さな歩幅で、エージェントの戦略を直接最適化する。これこそ、大規模モデルのRLHFの中核をなすアルゴリズムである（第3章）。最後に、モンテカルロ木探索（MCTS）は、多数の対局をシミュレーションして最良の枝を見積もりながら、可能な手の木を探索する。ニューラルネットワークと組み合わせたこの手法が、AlphaGoの成功の鍵となった（第1章）。つまり、「試行錯誤で学ぶ」という大まかな考え方の背後には、厳密な数学的道具が隠れており、それらはゲームにも、ロボティクス（第13章）にも、モデルのアライメントにも見いだされる。

2.3人工ニューロンとネットワーク

図2.3. 「深い」ニューラルネットワーク。情報は左から右へ、層から層へと流れる。「深い」（deep）とは単に、隠れ層を数多く含むという意味である。ディープラーニング（深層学習）という用語はここに由来する。

仕組みの詳細

数学的には、ニューロンは入力の重み付き和を計算し、そこに調整用の項（「バイアス」）を加え、その結果を非線形の活性化関数（たとえば、負の数をすべてゼロに置き換える ReLU 関数）に通す。この非線形性は決定的に重要である。これがなければ、層を積み重ねても何の意味もない（線形関数を合成しても線形のままだからである）。重みとバイアスがネットワークのパラメータであり、学習が調整するのはこれらである。あるモデルが「700億のパラメータ」を持つと言うとき、それはこうした内部の調整つまみの数を指している。普遍近似定理と呼ばれる理論的な結果は、十分に大きなネットワークであればどんな連続関数でも近似できることを保証する。これが、この営み全体を支える数学的な約束である。

2.4機械はどのように学ぶのか：コストと誤差逆伝播

繰り返すうちに誤差は小さくなり、ネットワークは有能になっていく。最もわかりやすいイメージは、霧のなかを歩いて谷を下るハイキングである。谷底は見えないが、足もとの傾きは感じられるので、下る方向へ一歩踏み出す。これを繰り返せば、やがて低い地点にたどり着く。この「傾き」を数学では勾配と呼び、この方法を勾配降下法と呼ぶ。

図2.4. 学習のループ。膨大なデータセットの上で何十億回も繰り返されることで、ランダムなネットワークが有能なモデルへと変わる。

仕組みの詳細

ステップ3が、第1章で触れた有名な誤差逆伝播法のアルゴリズムである。難題はこうだ。多数の層と何十億もの重みを持つネットワークにおいて、個々の重みが最終的な誤差にどれだけ責任を負っているのかを、どうやって知るのか。誤差逆伝播法は、微分法の連鎖律を巧みに適用し、出力から出発して入力に向かって層を1つずつ「さかのぼる」ことで、この問題を解決する。深いネットワークの学習を実用上計算可能にしているのは、このアルゴリズムである。これがなければ、ディープラーニングは存在しなかっただろう。現代的なオプティマイザ（Adam など）と組み合わせ、GPU上で実行することで、今日では何千億ものパラメータを調整できる。

仕組みの詳細

坂を下る（勾配と学習率）

重みの「調整」は、具体的にはどのように行われるのか。それが勾配降下法であり、そのイメージはわかりやすい。モデルの誤差を丘と谷からなる風景だと想像し、そのなかで最も低い地点（誤差が最小の点）を探すのである。各ステップで、勾配は最も傾きの急な方向を示す。そこで下り方向へ小さく一歩進み、また同じことを繰り返す。この歩幅は決定的な設定値であり、学習率と呼ばれる。大きすぎれば、斜面から斜面へと跳ね返るばかりでいつまでも落ち着かず、小さすぎれば、下りきるのに果てしなく時間がかかる。実際には、誤差を全データについて一度に計算することはせず（コストが高すぎる）、ランダムに取り出した小さなバッチ（mini-batch）について計算する。確率的勾配降下法という名前はここから来ている。データ全体をひととおり処理することをエポックと呼ぶ。洗練されたオプティマイザ（Adamなど）は、パラメータごとに歩幅を自動的に調整し、降下を加速し安定させる。何十億回も繰り返されるこの過程こそが、ランダムなネットワークを少しずつ削り出し、有能なモデルへと仕上げていくのである。

背景知識

過学習、あるいは丸暗記しない技術

あらゆる機械学習を待ち受ける落とし穴がある。過学習（overfitting）である。学習データに合わせすぎたモデルは、そこから有用な規則性を引き出す代わりに、ノイズや誤りまで含めてデータを「丸暗記」してしまう。すると、見たことのある例では優秀でも、新しい事例ではつまずく。これは本来の目的である汎化、すなわち一度も出会ったことのないデータに対してうまく振る舞う能力の正反対である。汎化を測るために、データの一部（テスト用データセット）を必ず取り分けておき、学習中はモデルに見せない。逆に、単純すぎるモデルは学習不足に陥り、実際には存在する規則性を取りこぼす。適切な均衡点を見つけることがこの分野の中心的な技芸であり（バイアスとバリアンスのトレードオフと呼ばれる）、そのために、モデルがデータに密着しすぎないよう複雑さを抑える正則化の手法が用意されている。この汎化への関心は、大規模モデルにおいてとりわけ重要な意味を帯びる。それらが理解しているのか記憶しているのかが問われているからである（第4章と第23章）。

背景知識

破滅的忘却と継続学習

ニューラルネットワークの根深い限界のひとつが、現在のAIの奇妙な点を説明してくれる。その知識が、ある日付で固定されているという点である。ネットワークを新しい課題で学習させると、重みの調整（上述）が、それまでに学んだことを上書きしてしまいがちになる。これが破滅的忘却（catastrophic forgetting）である。人間は新しい情報を、ほかを消すことなく取り込む。ところがネットワークは、すべてを上から学び直してしまいかねない。実際上の帰結として、すでに学習済みの大規模モデルに、最近の出来事をその都度「追加」するだけ、というわけにはいかない。モデルを再学習させる必要があり、それはコストのかかる作業である。アシスタントに見られる知識のカットオフ日はここから来ている。すべてを忘れることなくAIに継続的に学ばせること、それがまさに継続学習（continual learning）の目標であり、活発に研究されているが未解決の分野である。それまでのあいだは、別のやり方で障害を回避する。新しい情報を重みに刻み込むのではなく、回答する時点でモデルに与えるのである（検索拡張生成、第6章）。

2.52012年：ディープラーニングのビッグバン

なぜ2012年であり、それ以前ではなかったのか。欠けていた3つの燃料（第1章）が、ついに出そろったからである。

データ：ImageNetが、それまで欠けていた巨大なラベル付き画像データセットを提供した。
計算資源：AlexNetはNVIDIA社のGPUで学習された。ビデオゲームの画素を並列に計算するために設計されたこのチップは、ニューラルネットワークの大量の乗算に理想的であることが判明した。この技術的な細部は、途方もない地政学的帰結をもたらすことになる。NVIDIAを世界で最も時価総額の高い企業のひとつに押し上げるのである（第8章）。
アルゴリズム：いくつかの改良（活性化関数ReLU、正則化手法 dropout）により、より深いネットワークを破綻させずに学習させられるようになった。

2.6見ることと読むこと：CNNとRNN

やさしく言うと

Transformer以前には、2種類の専用アーキテクチャが主流だった。

畳み込みニューラルネットワーク（英語では Convolutional Neural Networks、CNN）は、画像の王者である。その原理は視覚を模倣している。いくつもの「検出器」が画像の上を滑るように動き、まず単純なパターン（輪郭、角）を見つけ、次にそれらを組み合わせてしだいに複雑なパターン（目、車輪）へと進み、最終的に対象全体（顔、自動車）を認識する。顔認識や医用画像解析を支えている技術である。
再帰型ニューラルネットワーク（英語では Recurrent Neural Networks、RNN、およびその改良版である LSTM）は、テキスト、音声、時系列といった系列のために設計されている。先行する内容の「記憶」を保ちながら、単語を1つずつ処理する。

仕組みの詳細

RNNは2つの弱点を抱えており、それがTransformerの発明を促すことになる。第一に、単語を逐次的に処理するため、学習を並列化できず、時間がかかる。第二に、その記憶は長い距離を隔てると薄れていく。長い文では、RNNは末尾に達するころには冒頭を「忘れて」しまうのである（勾配消失と呼ばれる問題）。ところが、言語を理解するには、離れた単語どうしを結びつけなければならないことが多い（「その猫は、隣の人が去年引き取ったのだが……病気である」）。逐次処理の遅さと長距離での健忘という、まさにこの二重の障壁を、第3章でアテンション（注意機構）の仕組みが打ち破ることになる。

背景知識

グラフニューラルネットワーク（GNN）

CNN（画像用）とRNN（系列用）に加えて、ネットワークの形をしたデータを扱う第三の系統がある。グラフニューラルネットワーク（Graph Neural Networks、GNN）である。世界の多くの対象は、もともとグラフ、すなわち互いに結ばれた実体の集まりである。分子（結合でつながった原子）、ソーシャルネットワーク（友人関係で結ばれた人々）、道路網、そしてウェブそのもの。GNNは、隣接するノードのあいだで情報を行き来させることによって学習する。各ノードは、隣接ノードの表現を集約して自らの表現を更新し、それが順々に伝わっていく。これにより、性質の予測（ある分子はよい薬になるだろうか。第14章）、推薦（商品、知り合い）、取引ネットワークにおける不正の検知が可能になる。データそのものと同じくらい関係の構造が重要であり、CNNや通常のTransformerではうまく適合しない場面のすべてで、好んで選ばれるアーキテクチャである。

2.7意味を表現する：埋め込み（embeddings）

見事な工夫はこうである。これらの数は、意味の近い単語が空間内で近い位置を占めるように学習される。「猫」と「犬」は隣どうしになり、「王」と「バナナ」は遠く離れる。意味が幾何学になるのである。

さらに驚くべきことに、空間内の方向が関係をとらえる。有名になった例（2013年のモデル word2vec に由来する）は、ほとんど魔法のようである。

王 − 男 + 女 ≈ 女王

言い換えれば、「男」と「王」を結ぶベクトルは、「女」と「女王」を結ぶベクトルとほぼ同じなのである。機械は、何十億もの文のなかで単語がどう使われているかを観察するだけで、王位という抽象概念と性別という抽象概念を、誰にも教えられることなく独力で発見したのだ。

仕組みの詳細

根底にある原理は分布仮説であり、言語学者J.R.ファースが1957年に次のように要約している。「語は、それが連れ立つ仲間によって知られる。」 ある単語の文脈（あるいは文脈からその単語）を予測するようモデルを学習させると、似た文脈に現れる単語を近い領域に配置せざるをえなくなる。現代のLLMはこの考え方を大規模に一般化している。孤立した単語だけを埋め込むのではなく、単語の断片を、その文脈全体に応じて埋め込むのであり、そのおかげで同じ単語の複数の意味を区別できる（フランス語の「la livre sterling」（通貨のポンド）と「une livre de beurre」（重さの単位としてのバター1リーヴル）の違い）。埋め込みはまた、2026年現在、至るところで使われている技術の燃料でもある。セマンティック検索エンジン、レコメンドシステム、そして、LLMが文書ベースから情報を引き出せるようにする、かの有名な検索拡張生成（RAG）である（第6章と第9章であらためて取り上げる）。

図2.5. 知識グラフの一部分。ここでは知識が明示的で検証可能である。それぞれの事実は2つの実体のあいだの名前付きの関係であり、機械にも人間にも読むことができる。

これは知識の記号的表現（第1章）の現代的な形であり、多くの検索エンジンを舞台裏で構造化しているものでもある（検索結果に表示される回答パネル）。その強みは正確さと追跡可能性（それぞれの事実の出どころがわかる）にあり、弱みは、人手で構築し維持しなければならないことにある。そこで、ニューラルネットワークの柔軟さとグラフの厳密さを結びつけるニューロシンボリックなアプローチへの関心が高まっている。LLMが知識グラフに問い合わせることで、検証済みの事実に回答を根づかせ（検索拡張生成の構造化された変種、第6章）、ハルシネーションを減らせるのである。

2.8現代AIの3つの材料

図2.6. 根本的な三要素。3つのどれも、単独では十分でない。2010年代以降にこれらが出そろったことが現代のAIを可能にしたのであり、今日この分野の経済と地政学を形づくっているのは、この3つの資源をめぐる競争である。

この三要素は、本講座のこの先すべてを照らし出す。

データの追求は、知的財産とプライバシーの問題を提起する（第21章と第25章）。
計算資源の追求は、NVIDIAの企業価値、チップ戦争、そしてエネルギーのコストを説明する（第8章と第10章）。
アルゴリズムの追求は、研究所どうしの熾烈な競争の対象であり（第7章）、その次なる大きな飛躍であるTransformerが、次章の主題である。

2.9脳と機械：実り多く、かつ誤解を招くアナロジー

やさしく言うと

「ニューラルネットワーク」という表現は、強力なイメージを抱かせる。機械が「脳のように」働いている、というイメージである。このアナロジーには歴史的な真実が一部含まれており（人工ニューロンはたしかに生物のニューロンから着想を得ている。2.3節）、教育上の効用も現にある。しかし文字どおりに受け取ると、深刻な誤解を招く。人工ニューラルネットワークはミニチュアの脳ではない。それは数学的な対象であり、脳と共有しているのは出発点となった直観（単純なユニットが大量に結合し、その結びつきの強さが経験によって調整される）だけで、それ以外にはほとんど何もない。このアナロジーがどこで成り立ち、どこで破綻するかを理解することは、「私たちと同じように考える」AIという誇大宣伝に対する最良の解毒剤のひとつである。

仕組みの詳細

この対比は、まず規模と性質の問題である。人間の脳はおよそ860億個のニューロンと100兆個ほどの接続（シナプス）を持ち、そのすべてが小さな体積に収まり、消費電力はわずか20ワット程度、つまり電球1個より少ない。一方、大規模モデルは何千億ものパラメータを並べることができるが、その学習と稼働にはメガワット級の電力を要する（第8章と第10章）。同じ課題で比べれば、生物のエネルギー効率は依然として他の追随を許さない。何より、類似は表面にとどまる。いくつかの違いは根深いものである。

信号。 生物のニューロンは、短い電気的なインパルス（「活動電位」）によって情報を伝える。それは離散的かつ非同期であり、複雑な化学（数十種類の神経伝達物質）によって調節されている。これに対して人工ニューロンは、同期された連続的な数値をやり取りするだけで、化学はいっさい介在しない。スパイキングニューラルネットワークの系統（ニューロモーフィックコンピューティング、第8章）は、まさに生物のモデルに近づこうとするものだが、いまだ周縁的な存在にとどまる。
学習。 人工ネットワークは誤差逆伝播法（2.4節）によって学習する。これは、誤差をネットワーク全体にわたって逆向きに伝播させることを前提とする大域的な仕組みである。ところが、そのようなものは脳内では明確に観察されていない。生物の学習は主として局所的であるらしく（シナプスは、それが結ぶニューロンどうしの同時活動に応じて強化される。「ともに発火するものは、ともに結びつく」という言い回しに要約される原理である）、睡眠、感情、報酬も関与する。脳が誤差逆伝播なしに、どうしてこれほど効率的な学習を実現しているのかは、未解決の問いである。
可塑性と時間。 脳は可塑的である。絶えず配線を組み替え、忘れ、定着させ、しばしばたった1つの例から学ぶ。モデルは、いったん学習を終えると大部分が固定される。無数の例を必要とし、破滅的忘却にも悩まされる（新しいことを教えると古いことを消してしまう）。さらに脳は再帰的で、身体を備えている（身体および環境とのあいだで絶えずループを形成している）のに対し、大半のネットワークは情報を入力から出力へと一方向に、ひと続きで処理する。

論点

では、汎用的な知能に到達するには脳を模倣すべきなのか。それとも、飛行機が羽ばたかずに飛ぶように、機械は機械に固有の道をたどるのか。意見は分かれている。神経科学は研究に着想を与え続けており（アーキテクチャ、報酬による学習、記憶）、そこに、より省エネルギーで頑健なAIへの鍵を見る人々もいる。他方で、近年の大きな成功（Transformer、第3章）は生物学にほとんど負っていないと指摘する人々もいる。慎重な立場とは、このアナロジーをあるがままに受けとめることである。すなわち、それは出自を示す比喩であり、例から学ぶという考え方をつかむには役立つが、そこからモデルが人間のように「理解する」「感じる」「推論する」と結論づけたとたんに、誤解を招くものとなる。まさにこれらの問いが、第23章の中心にある。

要点（第2章）

機械学習は従来のプログラミングを逆転させる。規則を与えるのではなく例を与え、機械が規則を学ぶ。その結果をモデルと呼ぶ。
3つの系統がある。教師あり学習（正解あり）、教師なし学習（正解なし）、強化学習（試行錯誤）。
ニューラルネットワークは、人工ニューロンを層として積み重ねたものである。「深い」とは「層が多い」という意味である（deep learning）。
学習は勾配降下法と誤差逆伝播法によって行われる。誤差を測り、それを減らすように各重みを小さな一歩ずつ修正する。
2012年（AlexNet/ImageNet）はディープラーニングのビッグバンであり、データ + GPU + アルゴリズムが出そろったことで可能になった。
埋め込み（embeddings）は意味を幾何学に変える。これが大規模言語モデルへの概念上の橋である。
現代のあらゆるAIは、データ、計算資源、アルゴリズムという三要素の上に成り立っている。

これで、敷居をまたぐ準備が整った。第3章では、言語の壁を打ち破り、大規模モデルの時代を生み出した2017年のイノベーションを語る。Transformerである。

2.1パラダイムの転換：プログラムするか、学ばせるか#

2.23つの学び方#

2.3人工ニューロンとネットワーク#

2.4機械はどのように学ぶのか：コストと誤差逆伝播#

2.52012年：ディープラーニングのビッグバン#

2.6見ることと読むこと：CNNとRNN#

2.7意味を表現する：埋め込み（embeddings）#

2.8現代AIの3つの材料#

2.9脳と機械：実り多く、かつ誤解を招くアナロジー#

要点（第2章）

2.1パラダイムの転換：プログラムするか、学ばせるか

2.23つの学び方

2.3人工ニューロンとネットワーク

2.4機械はどのように学ぶのか：コストと誤差逆伝播

2.52012年：ディープラーニングのビッグバン

2.6見ることと読むこと：CNNとRNN

2.7意味を表現する：埋め込み（embeddings）

2.8現代AIの3つの材料

2.9脳と機械：実り多く、かつ誤解を招くアナロジー