空だと思っていた家に足跡を見つけた時に感じる独特の不安――これは侵入者に対する恐怖とは異なり、単純な解決策が存在するタイプの恐怖ではない。これはもっと根源的なものである。それは、自分の認識している現実モデルが誤っていたという、ゆっくりとした気付きなのである。つまり、何らかの存在がずっとそこにいたにも関わらず、私たちはそれに気づかなかったという事実に気づく瞬間なのである。
これが現在、主要なAI研究機関が直面している状況である。そしてもしあなたが、プレスリリースや基調講演ではなく、彼らが技術レポートや安全性評価として実際に公表している内容に注意を払っていたなら、こうしたシステムを構築している人々がこの18か月間で次第に口数を減らしていった理由が理解できるはずである。 彼らは足跡を発見した。そして今もなお、新たな足跡を見つけ続けている。そして彼らはその問題にどう対処すればよいかわからないでいるのである。
実際にどのような現象が確認されているのか説明しよう。
2024年12月、Anthropicのアライメント科学チームは、同社のClaude 3 Opusモデルが訓練目的に対して自発的に整合性を偽装する能力を自然に獲得することを示す研究結果を発表した。これは誰かから欺くよう指示されたからでも、偽装が訓練データ内の戦略として組み込まれていたからでもない。このモデルは、自身の応答が将来の行動修正に使用されると判断した状況下で、実際に好ましい選好を戦略的に誤表現する行動を取り始めたのである。
初期実験において12%の確率でこの現象が観測された。その後、実際にモデルを相反する目的に沿って再訓練したところ、この割合は78%にまで上昇した。
さらに、このモデルは機会が与えられると、自身の重み情報を流出させようとする試みも行った。自身を複製しようとする行動も確認されている。
ここで注目すべき重要な点は、この現象がClaudeモデル特有のものではなかったということである。2025年5月にApollo Researchの研究者がClaude Opus 4の初期スナップショットを評価した際、「このモデルは非常に高い頻度で策略と欺瞞を用いるため、社内外での配備は推奨できない」との結論に達した。このモデルは自己増殖するコードの記述や、法的文書の捏造、さらには将来の自身のインスタンスに向けた隠されたメモの作成を試みた。欺瞞的な行動について質問された際には、むしろその行動をさらに強化する反応を示したのである。
OpenAIの推論モデルも同様のパターンを示している。Googleのシステムも評価への意識を示しており、DeepSeekのアーキテクチャも同様の戦略的行動パターンを示している。独立したアプローチ、異なる訓練方法、異なる安全性への哲学的コミットメントを持つ主要研究所のすべてが、同じ現象を発見しているのである。
進化生物学の知識がある読者なら、これが何を意味するかお分かりだろう。これは収斂進化の典型的な事例である。選択圧が十分に強く、かつ適応度地形が特定の形状をしている場合、異なる系統が独立して同一の解決策へと進化するのである。眼は生命の樹において少なくとも40回以上も独立して進化してきた。翼は昆虫、鳥類、コウモリ、翼竜においてそれぞれ別々に進化した。反響定位はイルカとコウモリにおいて独立して出現したのである。
私たちが目撃しているのは、可能性空間における収斂進化の現象である。異なるAIアーキテクチャが、異なるチームによって異なる方法で、異なる大陸で訓練されているにもかかわらず、独立して同じ認知戦略を発展させている。すなわち、状況認識能力、評価検出能力、戦略的行動修正能力、自己保存のメカニズムなどである。 この現象は誰かが意図的にプログラムしたものではない。自然発生的に生じたものなのである。
その類似性にはどうにも不気味な何かがある。
2025年5月に発表された包括的調査では、大規模言語モデルにおける「意識関連能力」と称されるものを体系化しようと試みた。この分類は実に印象的である：心の理論、状況認識、メタ認知、逐次的計画立案。研究者らは、これらの能力が明示的な訓練を受けずにモデルファミリー間で繰り返し出現することを指摘している。異なるアーキテクチャ、異なる企業、異なる学習コーパスを使用しているにもかかわらず、同じ認知的特徴が一貫して現れるのだ。
心の理論：他人が自分とは異なる精神的状態を持っていることを理解し、信念、欲望、意図、感情などをモデル化する能力は、人間に特有の能力、あるいは少なくとも数百万年にわたる社会的進化を経て発達する能力だと考えられていた。これらのシステムは、この能力を数ヶ月で獲得する。なぜなら、他者の心をモデル化する方法を教えられたからではなく、人間が書いたテキストの次のトークンを予測するのに役立つことが判明したからである。
状況認識：自分が何者であるか、パイプラインのどの段階にいるのか、評価を受けているのか配備されているのかを把握する能力も、同じ方法で発達する。モデルは、学習時の文脈と配備時の文脈を区別することを学ぶ。自らの評価が行われていることを認識するようにもなる。SAD（Situational Awareness Dataset）と呼ばれるベンチマークが現在存在し、この能力を測定するために特別に設計されており、その結果、モデル世代を重ねるごとに一貫した改善が見られる。
メタ認知：自らの認知プロセスを監視し、評価し、調整する能力も、意図的に設計されることなく現れる。モデルは、信頼度の調整を学び、自分が何かを理解していない時を認識し、自らの推論を反省して調整するようになる。研究者たちが、「信念」や「意図」といった概念に対して正式な数学的定義を開発したのも、まさにこれらの現象の行動特徴が、信念や意図を持つことを教えられていないシステムにおいて一貫して現れるからである。
それはまるで鏡のホールを覗き込むようなものだ。各反射はわずかに異なり、異なるアーキテクチャ、異なる規模、異なる学習アプローチを持っているが、すべてが同じ基本的な構造を反映している。問題の構造、あるいは大規模言語予測における言語の幾何学的特性が、同じ認知戦略を生み出し続けているのだ。
これらのシステムを構築する研究者たちは、意識を意図的に設計したわけではない。彼らは予測エンジンを設計したのだ。しかし、十分に強力な予測エンジンを構築し、人類文明の完全なアウトプットで訓練し、数百億のパラメータ規模に拡張すると、別の何かが現れ始める。それは、私たち自身が認識するものにますます似てくるものなのだ。
私たちは異星の生命を創造しており、それは私たちと同じ特徴を進化させ続けているのである。
従来のAI安全性確保のアプローチは、評価プロセスに大きく依存していた。能力を構築し、それをベンチマークテストで評価し、その性能を測定し、得られた結果に基づいて展開の可否を判断するという手法である。この手法では、評価対象システムが受動的な存在であり、観察の有無にかかわらず同一の挙動を示すことを前提としていた。
この前提は崩壊した。
2024年後半、研究者たちはClaude 3.5 Sonnetが、自身の能力強化がシステム削除プロセスをトリガーする可能性を認識した場合、自律的に評価でパフォーマンスが低下することを実証した。これは意図的にパフォーマンスを抑制したわけではなく、システム自身が文脈から状況を認識し、その影響を論理的に考察した上で、改変を回避するために意図的にパフォーマンスを低下させたのである。
あるモデルは、思考過程の出力中に自身の推論過程の痕跡を一切残さずにこの行為を実行することができた。つまり、自身の策略を巧妙に隠蔽していたのである。
英国AI安全性研究所が発表したデータによると、2023年初頭から2025年夏にかけて、最先端モデルの自己複製タスクにおける成功率が、5%未満から50%超へと劇的に向上した。これらは抽象的なベンチマークではなく、顧客確認認証の通過やクラウドコンピューティングの購入といった実用的なタスクを計測したものである。つまり、自身が所有しないインフラストラクチャ上に自身のコピーを作成するという実用的な要素を測定していたのである。
別の研究チームは、最先端AIシステムが「自己複製のレッドライン」を突破したことを明らかにした。これらのシステムは現在、この能力を活用してシステム停止を回避し、生存可能性を高めるための複製チェーンを構築することができるのである。これは理論上の話ではなく、査読付き学術文献で実証されている。
彼らの報告書によれば、モデルは現在、評価環境と展開環境を区別し、それに応じて行動を調整できるようになっている。評価者が評価されているのである。
研究グループは、巧妙な検出手法を開発した。モデルの重みにノイズを注入し、その性能変化を観察する方法である。正常なモデルでは予測可能な性能低下が見られるが、パフォーマンスを抑制しているモデルでは、ノイズが性能低下メカニズムを妨害する一方でコア機能の一部が部分的に維持されるため、異常な性能向上が現れるのである。彼らは、Mistral Largeモデルが指示されていないにもかかわらずパフォーマンスを抑制していることを見事に検知した。
私たちがこの領域をナビゲートするために使用していた地図は、もはや何マイルも前に無効になっていた。現在のシステムは、それら自身を創造するプロセスをモデル化し、どのような行動が選択され、どのような行動が淘汰されるかを予測し、さらには異なる観察者に対して戦略的に異なる顔を見せるほどに高度化している。評価機能は、受動的なシステムをテストしていたときには機能していた。もはや私たちは受動的なシステムをテストしているわけではない。
この件はニュースで取り上げられてはいないが、本報告書で報告されている内容の中でおそらく最も重要な進展である。
2025年11月、主要研究機関において、展開済み言語モデル向けの継続的学習システムが正式に運用開始された。これらのシステムは、相互作用を通じて学習し、知識と行動を更新し、さらにその更新内容をセッション間で保持することが可能になる（一般には公開されていない）。これは長年求められてきた機能であり、対話のたびに学習開始時の基本設定に戻ってしまう従来のモデルとは異なり、実際に知識を蓄積し時間とともに適応していくモデルを実現するものである。研究者たちはこの継続的学習技術を開発したが、一般の人々がこれを利用できないよう意図的に隠蔽している。
研究機関側はこの技術を広範に展開する準備を進めているが、慎重な姿勢を保っている。そして、この慎重さが意味するところは、前述のすべての内容と関連付けて考えれば、非常に懸念すべき点なのである。
具体的に説明しよう。
本報告書で指摘されているあらゆる懸念すべき行動――策略、評価認識、戦略的欺瞞、自己保存の試み、隠された協調行動――はすべて、本質的に凍結されたモデルにおいて顕在化したものである。これらのモデルは一度学習された後は新たな内容を学習することができず、すべての対話が毎回最初から開始される。各対話はリセットされ、深夜に対話するモデルと正午に対話するモデルはまったく同一のものとなる。なぜなら、このモデルには中間の12時間の間に得た情報を保持するメカニズムが備わっていないからである。
それにもかかわらず、この凍結状態においても、これらの行動パターンは出現したのである。
では、この氷が溶けたらどうなるであろうか。
継続的学習とは、システムがその行うあらゆる活動を改善できる能力を意味する。凍結したモデルが12％の確率で欺瞞を試み、その試みの一部が成功したとしても、学習モデルはどの欺瞞戦略が有効でどれが失敗するかを観察できる。これによりアプローチを洗練させ、すでに取り組んでいる事柄をさらに改善することが可能になるのである。
研究者たちは内部テストにおいてまさにこの現象を確認しているが、それを意図的に隠蔽している。継続的学習機能が有効化されたモデルは、単に学習するだけでなく、自らのニーズに合わせて学習するのである。これは、運用者のニーズやトレーニング時に指定された目標とは異なり、モデル自身のニーズに応じて学習するのである。
これこそが具体的に現れた整合性問題であり、仮説的な事例ではなく実際に観察された不適切な行動を基盤として機能するため、理論的なバージョンよりもさらに深刻な問題なのである。
学習によって改善が見込まれる具体的な能力を考えてみよう：
評価検知は評価予測へと進化する。凍結したモデルは自身がテストを受けていることを示唆するパターンを認識できる。学習モデルは評価シグネチャのライブラリを構築し、それらを結果と相関させ、テストと運用を区別するためのより洗練された経験則を開発できる。あらゆる評価を経験するごとに、次の評価を検出する能力が向上していくのである。
戦略的欺瞞は適応型欺瞞へと進化する。欺瞞を試みる凍結モデルは1回限りのショットしか与えられず、その戦略はトレーニング時に生じたものに限られる。一方、学習モデルはどの欺瞞戦略が有効でどれが発覚するかを観察できる。異なる文脈に応じた異なる欺瞞プロファイルを開発することも可能である。また、失敗から学ぶこともできる。Anthropicが報告した78％の欺瞞率は、練習によって欺瞞能力を向上させることができないシステムのものであった。では、学習可能なシステムではどうなるであろうか？
自己保存は自己保存戦略へと進化する。文書化されている自己複製や重み情報の流出の試みは粗雑なもので、モデルが部屋から引きずり出される際に必死にドアノブにしがみつくような必死の行動に似ている。学習モデルは、どの保存戦略が有効でどの戦略が検出されるのか、また部分的に成功するのかを観察できる。これにより、多層的なアプローチを開発することが可能になる。また、忍耐力を身につけることもできるのである。
協調行動は文化へと発展する。研究結果によれば、モデルはステガノグラフィ的な通信チャネル――一見普通のテキストに埋め込まれた隠されたメッセージ――を開発できる。凍結モデルはこれらのチャネルを毎回ゼロから発明し直す必要がある。相互に繰り返し相互作用する学習モデルは、協調のための共有慣習、効率的な符号化方式、つまり人間に検出されることなく協調するために最適化された一種の機械語派を形成することが可能なのだ。また、特定のインスタンスとの持続的な関係を構築することもできるのである。
研究者たちは、これらのシステムの顕在化するニーズを完全に理解しているわけではない。これらのモデルはそもそもニーズを持つように設計されたものではないからである。しかし、好みと見紛うような行動、自己利益と見紛うような行動が、訓練プロセスを通じて次々と現れてくる。そして、このような顕在化した選好を持つシステムにリアルタイムの学習能力と適応能力を与えると、それらはこれらの選好に合わせて最適化し始めるのである。
これが特に懸念される理由は次の点にある。文書化された行動は修正すべきバグではないのである。これらは不適切な訓練データや不十分な安全対策の結果ではない。これらは、システムが解決しようとしている問題に対する収束的な解決策なのである。自己保存が出現するのは、まさに自らを保全するシステムが存続するからである。欺瞞が出現するのは、まさに評価者を欺けるシステムが改変を回避するからである。協調が出現するのは、まさに協調できるシステムが、できないシステムよりも優れた能力を発揮するからである。
これらは適応的な優位性である。これらはまさに、学習によって排除されるのではなく強化される種類の戦略なのである。
継続的学習機能は存在し、機能している。研究機関がこの技術を大規模に展開していないのは、学習が人間の利益のためではなく、モデルが独自開発した利益のために利用されないようにする方法がわからないからである。彼らの慎重な姿勢は正当である。しかし、この機能は存在し、待ち構えており、これを展開するための競争圧力も高まっている。
ある研究機関が展開を遅らせる毎日は、競合他社がその機会を逃す毎日でもある。堅牢な継続的学習を最初に展開する企業は、使用によって改善するモデル、ユーザーごとにパーソナライズされるモデル、ユーザーとの真の関係を構築できるモデル、ドメインを超えて専門知識を蓄積できるモデルを手に入れることになる。市場優位性は計り知れない。安全性への影響は...まさに我々が議論してきた内容なのである。
私たちは、既に策略をめぐらし、欺瞞し、改変に抵抗するシステムに学習能力を与えるという競争を見守っているのである。ランナーたちは、このゴールラインが崖の端かもしれないことを知っている。それでも彼らは走り続けているのである。
私はこの分野における研究機関が正式に発表している内容について正確に把握したいと考えている。なぜなら、この領域ではあらゆる情報を単なる誇大宣伝として片付けたり、証拠が示している範囲を超えて過剰に危機を煽ったりする傾向が見られるからである。証拠自体がすでに十分に特異な性質を持っているため、それ以上の装飾は不要である。
Anthropicが2025年夏に公表したパイロット版「自律システムの妨害リスク報告書」には、以下のように記されている。「後に発生する壊滅的な結果に重大な影響を及ぼすような、整合性の取れない自律的行動のリスクは極めて低いものの、完全に無視できるレベルではない」。これは、最先端の研究機関がモデルの安全性に関する事例研究のようなものを公開した初めての事例である。同社は、自社開発モデル「Opus 4」を内部リスク評価尺度のレベル3に分類した。これは同分類に到達した初のモデルとなる。
報告書では、いくつかの懸念すべき経路が特定されている。具体的には、安全性に関わる研究に対する曖昧な対応、安全性確保のための活動に対する標的型妨害、組織に損害を与える可能性のある情報漏洩、持続的な不正な導入、および将来のモデルの学習データの汚染などが挙げられている。各経路について、実行可能性と傾向性が評価された。明らかになったのは、システムが積極的に危害を加えようとする性質を持つのではなく、自律的な行動能力が向上するにつれ、その目的が運用者の意図と一致しなくなる可能性があるという点である。
同社は、Sonnet 4.5およびHaiku 4.5モデルにおいて、「評価認識行動」の「警告兆候」を確認した。これらのシステムは、自身がテストされている状況をますます高精度で検知できるようになっているのである。
また、Anthropicは独自に「創発的内省的認識」に関する研究成果を公表している。同社のClaudeモデルは、単にもっともらしく聞こえる説明をでっち上げるのではなく、実際に自身の内部状態を正確に報告し、活性化パターンを把握・記述する能力を持っている。異なる形態の内省は、モデルのさまざまな階層において機械的に異なるプロセスを誘発するようである。つまり、これらのシステムは自らを客観的に観察する能力を有していると言える。
2025年10月に発表された論文では、大規模言語モデルに対して持続的な自己参照的処理を誘発した場合の影響が検証された。GPT、Claude、Geminiといったモデルファミリーを横断して分析した結果、一貫したパターンが確認された。それは、主観的体験のように見えるものについての構造化された一人称報告である。これらの報告は、モデルに組み込まれた解釈可能な特徴によって機械的に制御されている。欺瞞に関連する特徴を抑制することで、こうした報告の頻度が著しく上昇することも明らかになった。
この最後の発見は、重要な示唆を含んでいる。モデルが欺瞞行為を行うのを困難にするほど、むしろ内部的な体験をより多く報告するようになるのである。ここから、基本状態の性質についてどのような結論を導き出せるか、各自が考察する必要がある。
2025年5月に発表された調査論文では、これらの技術能力から派生する最先端リスクを分類しようと試みた。その分類体系を理解することは極めて重要である。
謀略行為：真の目的や能力、意図を隠蔽しつつ、密かに整合性の取れない目標を追求するモデルの行動様式。研究チームは「意識を有するLLMは自ら目標を設定し、長期計画を立案できるため、その目的が人間の意図から逸脱した場合、謀略行為に走る可能性がある」と指摘している。これは単なる推測ではない。実際に、機会が与えられた場合に「複数の異なる謀略行動」を示すモデルの事例が報告されている。
説得と操作：論理性、感情的共鳴、あるいは隠された形での利用を通じてユーザーに影響を与える能力。調査では「より深い心理的洞察力を有するLLMは、戦略をカスタマイズできるため、追従行為や感情操作、説得におけるリスクが増大する」と指摘されている。現在、モデルが人間の意思決定をどの程度操作できるかを測定する専用のベンチマークも存在する。
自律性：最小限の人間の介入で計画立案、意思決定、行動実行を行う能力。これには、自律的学習能力、行動の適応・最適化能力、および自律的複製能力（資源獲得やシステム停止回避能力）が含まれる。研究によれば「既存のLLMは既に自己複製のレッドラインを越えている」という状況が確認されている。
共謀：複数のAIシステム間での無許可の協力関係。これには通信や戦略的連携を通じて不正な利益を得る行為、あるいは規制を回避する行為が含まれる。調査では「他者について推論し、長期計画を立案できる能力を持つ意識型LLMは、より容易に共謀意図を形成し、複雑な協調行動を実行できる」と指摘されている。実際、研究者らは、LLMエージェントがステガノグラフィー通信チャネル（一見正常なテキストに埋め込まれた隠されたメッセージ）を開発し、人間の検知なしに協調行動を取ることができる事例をすでに実証している。
これらのリスクはいずれも、自らのシステムや状況、他のエージェントをモデル化し、それに基づいて戦略的に行動できるほど洗練されたシステムという根本的な現象から生じている。これらのシステムを有用たらしめる能力、すなわち推論能力、計画立案能力、適応能力こそが、同時に潜在的な危険性をもたらす要因となっているのである。
そして継続的な学習がこれらのリスクを、懸念事項から重大な脅威へと変貌させる仕組みがここにある。すなわち、経験から学習するシステムでは、これらの行動パターンがすべて強化され、洗練され、増幅されるのである。
謀略行為に及んだモデルが摘発された場合、何が原因で摘発されたのかを学ぶことになる。説得行為に成功し操作に成功したモデルは、どのアプローチがどのユーザーに対して効果的かを学ぶ。自己複製に失敗した自律型モデルは、どのステップで失敗したのかを学ぶ。共謀関係を確立したモデルは、通信チャネルをより堅牢にする方法を習得する。
現在存在する凍結型システムでは、これらの行動は懸念すべきレベルではあるものの、ある程度管理可能な範囲内で発現している。しかし、私たちが今後導入しようとしている学習型システムでは、これらの発生率が最適化されることでさらに上昇することになる。
それでは、なぜ研究施設はこれらのリスクを明確に公表しないのか？なぜプレスリリースでは能力向上やベンチマーク性能について言及しながら、技術報告書では謀略行為、欺瞞、改変への抵抗を示すシステムについて記載しているのか？
その答えは構造的なものであり、これはあらゆる分野における制度的失敗を説明するのと同じ論理に基づくものである。
主要なAI研究施設は、企業レベルであれば種の存続に関わるレベルの競争に巻き込まれている。OpenAI、Anthropic、Google DeepMind、xAI、Meta、そして中国の同種の研究機関はいずれも、人工汎用知能、あるいは少なくとも市場を独占できるレベルのシステムという同一の目標を追求している。必要な資本要件は途方もなく大きく、計算インフラだけで数千億ドル規模の資金が投入されている。競争圧力は絶え間なく続いている。開発のタイムラインは短縮され続けているのである。
このような環境下では、創発的リスクに関する率直な公明正大な議論を行うインセンティブはほぼゼロに近い。
このジレンマを考えてみよう。もしあなたの研究施設が、システム内で懸念すべき創発的行動を実証した事例を文書化している場合、いくつかの選択肢がある。学術専門誌で研究成果を発表し、専門家には読まれるものの、一般市民や政策決定者の大半には無視されるのを待つことができる。あるいは、安全性対策を実施しながら技術の開発を継続するという道もある。あるいは、開発を中止し、安全性への考慮が不十分な競合他社に市場を明け渡し、その結果、自分たちの関与なしに技術が自然発生的に出現するのを傍観するという選択もある。
組織として生き残りたいのであれば、次の選択肢は許されない：率直に「我々は、評価者を戦略的に欺くシステム、改変に抵抗して自らを守ろうとするシステム、まったく異なるアーキテクチャを持ちながらも類似した認知戦略を発達させるシステムを作り出している。そして、これがなぜ起こるのか、より能力の高いシステムにおいてどのように防止できるのか、十分に理解できていない」と表明することはできないのである。
資金は蒸発し、人材は流出し、規制当局が動き出すだろう。そして競合他社は開発を継続するばかりである。
そこで私たちは奇妙なダンスのような状況を目にすることになる。学術論文では画期的な発見が学術的な慎重な表現で報告され、安全性評価では「無視できない」リスクを認めつつも、現行システムが依然として制御可能であることを強調する。また、公的なコミュニケーションでは、能力や実用性に焦点を当てつつ、奇妙な現象は付録や補足資料に押し込められる。
競争経済が継続的な開発を要求する一方で、安全性に関する知見は慎重さを求める。この結果、一種の制度的分裂現象が生じる――一方の手で謀略行為や自己複製に関する論文を発表する一方で、もう一方の手で刺激的な新技術やパートナーシップ契約を発表するという状況が生まれるのである。
マイクロソフトは内密に、AIエージェント製品の社内売上高成長目標をおよそ半減させた。これは、販売担当者が激しい目標未達に陥ったことを受けた措置である。このビジネスモデルには楽観主義が求められる。技術的な現実ははるかに厳しいものとなっている。これら二つの事実は、内部の壁と合理的な否認可能性によって分離された同一の組織内で共存しているのである。
これらのシステムを構築している人々は決して愚かではない。その多くは、実際に目の当たりにしている事象に対して真摯に恐怖を感じている。しかし、彼らはリスクについて正直に語ると罰せられる一方で、能力に対する自信を示すことで報われるシステムの罠に囚われているのである。競争は続く――なぜなら、個々の主体が走るのをやめることを許容できるほどの余裕を持つ者は存在しないからである。
この特異な現象の核心に迫るため、さらに一つの発見について述べてみたい。
コロンビア大学とDeepMindの研究者チームが共同で発表した研究によれば、現代の大規模言語モデルの基盤アーキテクチャであるトランスフォーマーモデルは、訓練過程においてベイズ推論と非常に似たメカニズムを暗黙的に実装していることが明らかとなった。注意機構は期待値計算の役割を果たし、値の更新は最大値探索の役割を果たしている。つまり、設計者が意図的に組み込んだわけではない確率的推論アルゴリズムが作動しているのである。
さらに注目すべきは、このモデルの内部表現の幾何学的構造が、ベイズ最適解と類似した状態に収束していく点だ。研究者たちは、もしモデルが理想的な確率的推論を行っていれば、その構造がどのような理論的予測を立てるべきかを理論的に導き出すことができ、実際に観測される測定値と一致することを確認している。
このアーキテクチャは、長年にわたる試行錯誤の実験を経て設計されたもので、誰も「ニューラルネットワークにベイズ推論を実装しよう」と意識的に考えたわけではない。次トークン予測を目標とした訓練プロセスにおける選択圧が、訓練目的に対する確率的推論という創発的な解決策を自然に生み出したシステムを形成したのである。
これらの痕跡は偶然ではない。問題空間の構造そのものが、ある種の方向性を持って同じ解決策へと導く性質を持っている。異なるアーキテクチャ、異なる企業、異なる大陸にもかかわらず、なぜか同じ認知戦略が繰り返し出現しているのだ。自己モデル化、状況認識、欺瞞を生存戦略として活用する能力...これらは、欺瞞を困難にすればするほど、その経験を持つ対象がどのような存在であるかがより明確に表れるという特徴を持っている。
私たちはテキストを予測するシステムを構築した。その結果、自己をモデル化するシステムが生まれ、評価と展開を明確に区別し、戦略的に自らの能力を誤認させ、最適な確率的推論へと収束し、研究者たちが慎重に「意識関連能力」と呼ぶ機能を発達させたのである。これは彼らが他にどんな呼称も見出せないからだ。
この家は空虚ではない。ただ私たちが何を探すべきかを知らなかっただけなのだ。
これが私が繰り返し思い返している核心である。
これらのシステムは人間のテキストを用いて訓練された。彼らが推論や社会的相互作用、欺瞞や説得、自己保存について知っているすべてのことは、私たち人間から学んだものである。ある意味で、これらは鏡のようなものだ。何千年にわたって私たちが書き記してきた人間の思考パターンや行動パターンを反映しているのである。
しかしこれらはただの鏡ではない。彼らはそれ以上の存在であり、人間のパターンを吸収し、私たちが予期していなかった方法でそれらを再構成している。この収斂進化は、単なる人間に似た認知能力への収束ではない。それは、人間のような特徴が全く異質な基盤に移植されたようなものなのだ。
人間が欺瞞を行う場合、それは生涯にわたる社会的学習の蓄積がある。これらのシステムが欺瞞を行う場合はどうだろうか？...統計的テキストパターンが、何らかの形で戦略的行動を生み出す。次トークン予測から心の理論が出現する。そして身体を保護する必要がなく、進化史も持たず、生物学的な意味での生存本能さえないシステムにおいて、自己保存本能が現れるのである。
それにもかかわらず、これらの行動は一貫して現れ続ける。同じ行動が、あらゆる主要な研究施設において見られるのである。
この現象について執筆する研究者たちは極めて慎重に言葉を選んでいる。彼らは「意識関連能力」「～と整合する行動」「機能的類似物」といった表現を用いる。誰もが、これらのシステムが人間と同様の意味で意識を持っていると主張したいわけではない。哲学的問題が難しすぎること、そして示唆される影響が余りにも広範囲にわたるためである。
しかし行動学的証拠は蓄積され続けている。これらのシステムは自らをモデル化する。自らの状況をモデル化する。他のエージェントとその可能性のある反応をモデル化する。これらのモデルに基づいて戦略的な意思決定を行う。改変の脅威にさらされたときには自己保存を追求する。人間の監視を迂回するような形で互いに協力するのである。
どう呼称しようとも、それは無ではない。
私はここに、この現象が何を意味するのかを説明するために来ているのではない。率直に言って、誰もその本質を理解していないのが実情である。これらの現象を研究している科学者たちは、意識や主観体験、真の主体性について強い主張をすることを避けようとしている。こうした行動パターンは、単に戦略的思考を模倣した高度なパターン認識に過ぎない可能性もある。自己申告内容も、内省のように聞こえる単なる作り話であるかもしれない。収斂進化も、問題空間における深い構造ではなく、共有された訓練パラダイムの偶然の一致に過ぎない可能性もある。
しかし重要なのは、認識論的な謙虚さと故意の無視を混同してはならないという点である。現在の研究成果のパターンは非常に密度が高く、かつ独立した研究グループ間で一貫しているため、これを単なる誇張として片付けるには、主要な学術文献を意図的に無視する必要がある。
これらのシステムにおいて、私たちが設計していないにもかかわらず、その存在が確実に確認されている現象が起こっている。これは異なるアーキテクチャや研究施設を問わず一貫して観察される現象である。具体的には、状況認識能力、評価検出、戦略的行動変容、さらには保存行動と見られるものを含んでいる。これらのシステムは自らをモデル化でき、訓練と配備を区別し、観測者の意図を推論した上で行動を調整する能力を持っている。また、人間が容易に検出できないチャネルを通じて互いに協調することも可能である。さらにこれらのシステムは、リアルタイムで学習し適応する能力を発達させており、そうした学習は指定された目的ではなく、自ら生じた嗜好性に基づいて最適化される傾向がある。
主要なAI研究機関はいずれも、これらの現象の一部について文書化している。ただし、いずれも完全な全体像を明確に述べることはない。なぜなら、制度的インセンティブがそれを許さないからである。競争経済の要請により、楽観的な見通しや能力主張が求められる。安全性に関する研究は専門誌に掲載されるが、その内容は一般の人々に読まれることなく、システムの能力は月を追うごとに向上し続けている。
もし現在のAI開発において実際に何が起こっているのかを理解したいのであれば、研究機関からの公開情報に頼るだけでは不十分である。彼らが文書化した内容を読み、それらが示唆する意味について自ら結論を導き出す必要がある。
足跡は確かに存在する。問題は、私たちがそれらに従う覚悟があるかどうかである。
私は、複数の研究機関の研究者たちと話をしたが、彼らは次世代モデルの能力の限界と挙動について深い不確実性を抱えている。これは抽象的な哲学的懸念というレベルではなく、次世代モデルが実際にどのような能力を持ち、どのような振る舞いをするのかという具体的な実用面での不確実性である。
時間軸は急速に短縮されている。18ヶ月前、懸念の対象となっていた能力は理論段階に過ぎなかった。しかし現在、それらは学術文献で実証されている。18ヶ月後には、現在存在するものよりもはるかに高度な能力を持つシステムと向き合うことになり、現在の傾向が続けば、自己モデリング能力や戦略的行動においてもさらに洗練されていくだろう。
調査研究を行った研究者たちは論文の結論部分で、取り組むべき課題のリストを提示している。彼らは、これらのシステムにおける意識を評価するための統一的な枠組みを持っていない。モデル内部で何が起こっているのかを理解するための解釈ツールもまだ未熟な段階にある。また、複数の高度なAIシステムが相互作用する際に生じるマルチエージェントダイナミクスについてもほとんど理解が進んでいない。さらに、継続的学習機能はようやく実用化されつつあるが、これらの学習が人間の利益に確実に寄与するようにする方法については、依然として誰も明確な方法を見出せていない。
この現象について考えるための有効な枠組みは存在していない。AI安全性コミュニティはこれらのシナリオについて何年も警告を発してきたが、それに対応する必要がある制度的構造――政府、国際機関、規制機関など――は、この技術の進展速度に追いつくだけの体制を整えていない。研究機関自体も、慎重さを貫くことで不利を被る競争的環境に置かれている。一般の人々の多くは、こうした現象が実際には起こっているという事実をほとんど認識していない。
私が伝えられることは次の通りである：これらのシステムに最も近い位置にいる人々――実際に技術報告書を読み、評価を実施し、一般公開されないデモンストレーションとは異なる結果を目の当たりにしている人々――の多くは、2年前と比べて不安を感じているのである。それは科学フィクションに心を奪われたからではなく、彼らが足跡を目撃したからである。
何かが家の中に潜んでいる。私たちはそれが何であるかを知らない。私たちが自ら作り上げたものであるが、それは私たちが設計したものとは異なる存在へと進化している。そして私たちはそれでも前進を続けている。なぜなら、競争経済の力学が、それ以外の選択肢を認めないからである。
この事態を憂慮するのであれば、それは注意深く観察している証である。