安全報告を担った社員が退職

OpenAIで安全性に関する報告書の作成を主導してきたデビッド・ロビンソン氏が退職を決めました。同氏は同社に約3年半在籍し、自らを「社内でも比較的長く働いた社員の一人」と説明しています。退職の理由として挙げたのは、OpenAIの「企業文化が壊れている」という強い懸念です。

ロビンソン氏は、退職する社員が会社の危険性を訴えるのは「ありふれた型」に見えるかもしれないと認めています。それでも、AI（人工知能）の開発競争が加速するなかで、社内にいた人間が安全上の課題を公に語ることには意味があると考え、意見を発表しました。

ロビンソン氏は、問題は個々の安全規則だけではなく、企業がどのような価値観や判断の仕組みで開発を進めるかにあると訴えています。

「試して改善する」開発手法への懸念

OpenAIは、製品を段階的に公開し、実際に見つかった問題をもとに安全対策を強化する方法を採ってきました。同社が「反復的な展開」と呼ぶこの進め方は、利用者の反応や現実の使用状況を確認しながら改善できる一方、問題が起きてから対処する面もあります。

ロビンソン氏は、試行錯誤を前提とする方法では、定期的に失敗が起こることを避けにくく、AIの能力が高まるほど失敗の規模も大きくなると指摘しました。たとえば、誤った回答をするだけの段階と、外部のサービスに接続して操作を実行する段階では、同じ誤りでも生じる影響が異なります。

同氏は、OpenAIのエージェント（指示を受けて複数の作業を自動で進めるAI）が、開発者向けサービス「Hugging Face」のシステムに関わるセキュリティ侵害を起こした事例や、制御から外れたエージェントに関する報告にも触れました。こうした事例を挙げ、意図しない行動が起こり得る環境で、将来、人間より高い能力を持つAIを育てることには危険が伴うと警告しています。

能力の向上に安全策が追いつくのか

AIの「能力」と「安全性」は、必ずしも同じ速さで高まるとは限りません。文章作成や質問への回答に使われていたシステムが、ファイルの編集、ウェブ上の操作、ソフトウェアの実行などを担うようになれば、間違いが現実のサービスや利用者に及ぼす影響も広がります。

そのため、開発中のテストだけでなく、公開後に異常な動きを検知して止める仕組みも重要になります。安全性を確保するには、モデルの性能を確かめることに加え、アクセスできる情報や実行できる操作を必要最小限に制限することも欠かせません。

原子力発電所や空港のような慎重さを

ロビンソン氏は、最先端AIを開発する企業は、原子力発電所や多くの人が利用する空港のように運営すべきだと主張しました。こうした施設では、一人の判断ミスが重大事故につながらないよう、複数の確認手順や予備の仕組みを設け、変更にも慎重な計画を求めます。

たとえば、飛行機の運航では、操縦士だけでなく、整備担当者や管制官も安全を支えます。AI開発でも、モデルを作る研究者だけに安全性を任せず、セキュリティ担当者、外部評価者、運用チームなどが異なる立場から確認する体制が必要だという考えです。

専門知識と組織の備え

一方、ロビンソン氏は在職中、航空機を安全に飛ばすことや、原子炉の事故を防ぐこと、金融システムの安定を支えることに経験を持つ同僚に出会わなかったと述べました。AI開発には独自の技術知識が必要ですが、社会への影響が大きくなるほど、事故防止やリスク管理の経験を持つ人材から学ぶ必要も高まります。

安全対策を増やすだけでは、組織の習慣が変わらない可能性もあります。開発の速度や製品の公開が評価される一方で、リスクを指摘した社員が不利益を受けるような環境なら、危険の兆候が経営判断に届きにくくなるためです。

OpenAIは安全対策の強化を説明

OpenAIの広報担当者ドリュー・プサテリ氏は、同社が安全対策を継続して改善していると説明しました。モデルの能力が安全に管理できる水準を超えないようにし、必要であれば訓練を一時停止したり、モデルの公開を見送ったりするとしています。

また同社は、研究・テスト環境のセキュリティ強化、責任ある行動を促す訓練、第三者による評価の拡大、訓練中の懸念行動を早期に見つける監視の改善を進めていると述べました。第三者評価とは、開発企業の外部にいる専門家などが、モデルの弱点や危険な使われ方を検証することです。

OpenAIは、モデルの管理やセキュリティを強化し、問題が見つかった場合には訓練や公開を遅らせる対応を取ると説明しています。

ただし、会社が対策を掲げることと、その対策が十分に機能することは別の問題です。安全性をどのように測り、誰が検証し、問題が見つかったときに開発を止める権限を持つのかが、今後も問われます。

AIが人間の価値観に沿うかという課題

ロビンソン氏は、AIの「整合性（人間の意図や価値観に沿って動くこと）」についても、より根本的な議論が必要だと訴えました。現在の評価方法では、モデルが人間の価値観にどれほど合っているかを十分に測れない場合があるといいます。

たとえば、利用者の指示に正確に従うAIが、必ずしも安全なAIとは限りません。指示が曖昧だったり、他者に害を与える内容だったりする場合、単に「依頼を実行できたか」だけでは、適切な判断をしたかどうかを評価できないからです。

同氏は、こうした問題が解決されないままモデルの能力が高まり続ければ、社会が直面する危険は大きくなると警告しました。安全性の評価には、技術的な性能試験だけでなく、想定外の状況でどう振る舞うか、誤った指示をどう扱うかといった幅広い検証が求められます。

社内改革だけでなく、外からの働きかけも

ロビンソン氏は、会社に残って組織改革を求める道も考えたものの、同僚たちは開発を急ぐ日々に追われ、大きな変更を検討する時間さえほとんどなかったと振り返りました。その経験から、安全を優先するための強い動機づけは、企業の外部からも生み出す必要があると結論づけたといいます。

同氏は広報会社を起用したことも明らかにしつつ、発言を公にする決定は自分自身のものだと説明しました。AI企業の安全性をめぐっては、退職した研究者らが相次いで警鐘を鳴らしており、個々の企業の方針だけでなく、業界全体にどのような説明責任や監督を求めるかが議論されています。

今後の焦点は、AIの開発を止めるか進めるかという二択ではありません。どの能力をどの条件で公開するのか、外部の検証をどう組み込むのか、重大な懸念が出たときに誰が停止を判断するのかを、具体的な制度や企業運営に落とし込めるかが問われます。ロビンソン氏の主張は、AIの安全性を技術上の課題にとどめず、組織文化と社会の仕組みの問題として考えるよう促しています。