人工知能が人間の知性を全面的に上回る未来を想像してみる。そのとき人間がAIに問い、実行を委ねるものの多くは、人間自身にはもう十分に理解できない判断になっているだろう。なぜその答えが正しいのか、どんな前提でそう結論したのか。問うた本人には、もはや検証できない。にもかかわらず、いまの制度がそのまま続くと仮定すれば、実行された結果の責任は人間が負う。能力が理解を追い越し、責任だけが手元に残る。この非対称こそ、これから設計しなければならないセーフガードの出発点である。
直感的な解決策は、昔から一つに決まっている。重要な判断をAIに任せるなら、人間を一人、最終確認役として回路に残しておけばよい。いわゆる「人間を関与させる(human-in-the-loop)」という発想だ。ところが、この素朴な安全策がそのままでは機能しないこと、それどころか人間を「責任を吸い取る部品」に変えてしまいかねないことが、複数の研究によって示されてきた。理解できないものの責任を負うという問いは、まずこの逆説から解きほぐす必要がある。
「最終確認役」という幻想
機械の出した答えを人間が点検すれば誤りは防げる。そう思いたくなる。だが認知科学者のRaja Parasuraman(ラジャ・パラスラマン)とDietrich Manzey(ディートリヒ・マンツェイ)が2010年に発表した統合的レビューは、その期待に冷や水を浴びせた。彼らは自動化システムと人間の相互作用を扱った多数の実験的研究を整理し、「自動化バイアス(automation bias、機械の出力を過度に信頼してしまう傾向)」と「自動化への安住(complacency、出力の監視がおろそかになること)」という二つの現象が、共通の注意の仕組みから生まれることを示した。人は複数の作業を同時に抱えて注意資源が逼迫すると、自動化された処理を「たぶん正しい」とみなして監視を手抜きする。誤りは二つの形をとる。機械が警告しなかった異変を人間も見落とす「見落としの誤り」と、機械の誤った助言にそのまま従ってしまう「追従の誤り」だ。どちらも、人間が自動化を一種の権威として扱い、自前の判断による検算をやめてしまうことから生じる。重要なのは、この傾向が初心者だけでなく熟練者にも現れ、単に「気をつけろ」と指示するだけでは消えなかったことである。人間は、機械が示した答えに引きずられるようにできている。最終確認役を一人置けば安心だという発想が、いかに脆い前提の上に立っているかがわかる。
この知見は、医療の現場で定量的に裏づけられている。情報学者のKate Goddard(ケイト・ゴダード)らは2011年、臨床判断支援システムにおける自動化バイアスを対象に、1万3千件超の文献から条件を満たす74件を選び出した系統的レビュー(あるテーマの研究を網羅的に集めて総合する手法)を行った。そこから浮かび上がったのは、バイアスを強める要因と弱める要因の地図である。利用者の認知スタイルや経験、機械への信頼や自信、そして作業負荷や時間的制約といった環境が、誤った出力への追従を左右していた。逆に、訓練を施すこと、利用者に「あなたが責任を負う」と明示すること、助言の提示方法を工夫することは、バイアスを軽減しうるとされた。つまり人間の監視は、設計しだいで機能もするが、放置すれば容易に形骸化する。
この現象には名前がある。哲学者のJohn Zerilli(ジョン・ゼリッリ)らは2019年、人間と機械の制御ループの中で、人間が信頼できる自律システムを前に安住し、過信し、あるいは逆に過度に萎縮してしまう傾向を「制御問題(the control problem)」と呼んだ。複雑な機械の操作者を研究してきた産業心理学者や技術者の間では、人間が機械に責任を明け渡し、機械が誤る場面を見逃す危険は、ずっと前から知られていた。ゼリッリらは、この古くからの問題が、内部の読み解けない機械学習の文脈ではまだ真剣に検討されてこなかったと指摘する。そのうえで対処策を三つ挙げ、最も有望なものとして、高度なアルゴリズムと人間が互いに補い合う「相補的な結合」を提案した。最終確認役を一人ぽつんと置くのではない。人間と機械が動的に役割を分け合う設計である。規範的な提案を含む議論だが、後で見るセーフガードの核心を先取りしている。
では、制度として人間の監視を義務づければよいのか。法学者のBen Green(ベン・グリーン)は2022年、世界各国で政府アルゴリズムに対し人間の監督を求める41の政策を精査し、それらが検証されないままの前提に寄りかかっていると論じた。前提とは「人間はアルゴリズムの判断を実効的に監督できる」というものだ。だが自動化バイアスの蓄積された証拠は、その前提を裏切る。グリーンの指摘はさらに辛辣である。形だけの監督要件は、機能しないどころか、問題ある制度に「人間が見ているから大丈夫」という偽りの正当性を与えてしまう。最終確認役を置くこと自体が、責任のアリバイになりうるのだ。
人間が「衝撃吸収帯」になるとき
監督が形骸化したまま事故が起きれば、矢面に立つのは回路の末端にいた人間である。研究者のMadeleine Clare Elish(マデリン・クレア・イーリッシュ)は2019年、この構図に「モラル・クランプルゾーン(moral crumple zone、道徳的衝撃吸収帯)」という名を与えた。自動車の衝撃吸収帯が衝突の力を受け止めて車体を守るように、複雑に自動化されたシステムの中の人間は、全体が誤作動したときの道徳的・法的な責任を一身に受け止める部品になりうる。違うのは、その吸収帯が守るのが人間ではなく技術システムの正統性だという点だ。イーリッシュはスリーマイル島原発事故、エールフランス447便の墜落、放射線治療装置Therac-25の事故、そして2018年に起きた自動運転車による歩行者死亡事故を読み解き、いずれも実際の制御をほとんど持たなかった「最も近くにいた人間」へ責任が振り向けられた経緯を描いた。これは事例分析にもとづく概念であり厳密な実証ではないが、私たちの問いの核心を言い当てている。理解も制御もできなかった人間が、結果だけを引き受ける。
この危うさは、いままさに医療へ流れ込もうとしている。臨床医のTom Lawton(トム・ロートン)らは2024年、AIが医療に組み込まれるなかで臨床医が「賠償責任のシンク(liability sink、責任の流し込み先)」になりかねないと警告した。複雑で部分的に自動化された仕組みでは、全体の不具合の責任が最も近い人間の操作者に集中しやすい。AIの診断支援を使った医師が、自分には理解しようのなかった機械の誤りについて、法的な責めを不当に負わされる。論説にもとづく問題提起ではあるが、モラル・クランプルゾーンが抽象論ではないことを示している。
「責任の空白」は一つではない
こうした事態は、しばしば「責任の空白(responsibility gap)」という言葉で語られてきた。哲学者のAndreas Matthias(アンドレアス・マティアス)が2004年に提起した懸念がその起点である。学習する機械はふるまいが予測しきれないため、その害について誰も正当には咎められなくなる、というものだ。だが哲学者のFilippo Santoni de Sio(フィリッポ・サントーニ・デ・シオ)とGiulio Mecacci(ジュリオ・メカッチ)は2021年、空白は一つではなく、少なくとも四つの絡み合った問題だと整理した。第一に、誰も正当に非難できなくなる「咎めの空白」。意図・予見可能性・制御という、責任を問う伝統的な条件を、機械の不透明さが崩していく。第二に、人々が自分や他者のふるまいの「筋道」を理解し説明し合う力が失われる「道徳的説明責任の空白」。不透明なAIを使う医師が、なぜその診断に至ったかを語れなくなるように。第三に、市民が行政の決定について説明を得られなくなる「公的説明責任の空白」。裁量が現場の担当者から、法を実装するIT技術者やデータ分析者へと移っていく。第四に、設計し使う人々が、システムのふるまいに対する自らの義務を自覚し果たそうとしなくなる「能動的責任の空白」である。
サントーニ・デ・シオらが鋭いのは、これらへの安易な処方を退けた点だ。空白を新種の解決不能な難問とみなす「宿命論」、たいした問題ではないと片づける「軽視論」、そして説明可能なAIや法制度の手直しだけで全部が解決すると考える「技術・法の万能論」。いずれも責任の空白の一面しか捉えていない。四つの空白は互いに結びついており、一つを塞ぐには他のいくつかにも手を入れねばならない。規範的な議論ではあるが、責任という言葉が指すものを腑分けしたこの見取り図は、セーフガードの設計図として有用である。
本当に欠けているのは「制御」だ
ところが、この「責任の空白」という枠組み自体に疑問を投げかける議論もある。哲学者のFrank Hindriks(フランク・ヒンドリクス)とHerman Veluwenkamp(ヘルマン・フェルウェンカンプ)は2023年、責任の空白などそもそも存在しない、と論じた。自律機械が引き起こす害は、二つに分かれる。一方は、社会的に許容できる水準のリスクのもとで起きた「咎めようのない害」であり、これは誰も非難されるべきではない。他方、咎めるべき害ならば、その非難は設計者・技術者・製造者・規制当局といった人々へ、間接的にではあれ確実に帰属させられる。宙に浮いて誰にも割り当てられない非難など、論理的にありえないというのだ。
では本当の問題はどこにあるのか。彼らはそれを「制御の空白(control gap)」と呼ぶ。自律機械は、道徳的に許容できる水準までリスクを抑えて作られねばならない。その水準に届かない機械、つまり持つべき制御の質を備えていない機械は、そもそも世に出してはならない。責任の議論が「事後に誰を責めるか」に向かいがちだったのに対し、制御の議論は「事前にどれだけ制御を作り込むか」へと焦点を移す。理解できないものを実行させてよいのは、その実行が許容可能なリスクの内に設計されているときだけだ。この反転は、私たちの問いに具体的な指針を与える。負うべき責任を案じる前に、負わせてよいだけの制御がそこにあるかを問え、と。
意味のある人間の制御とは何か
では、十分な制御とは何を備えていることなのか。サントーニ・デ・シオとJeroen van den Hoven(ヤルーン・ファン・デン・ホーヴェン)は2018年、「意味のある人間の制御(meaningful human control)」を二つの条件で定義した。哲学者フィッシャーとラヴィッツァの「導きの制御」を下敷きにしたものだ。一つめは「追従(tracking)」の条件。システムは、その状況で関連する人間の道徳的な理由に応答し、それに沿ってふるまわねばならない。二つめは「遡行(tracing)」の条件。システムのふるまいは、その役割を理解し引き受けた特定の人間へとたどり着けなければならない。重要なのは、ここでいう制御が、判断の瞬間にボタンを押す人間がいるかどうかではない、という点だ。設計者から運用者までを含む人間の理由と能力に、システム全体が結びついているか。それが問われている。形だけ回路に人を残すことと、意味のある制御を作り込むことは、まるで違う。
意味のある制御には、人間の側の関与の質も関わる。経営学者のBerkeley Dietvorst(バークレー・ディートヴォースト)らは2016年、人々が一度でも誤るアルゴリズムを見ると、たとえそれが人間より正確だと知っていても、それを見限ってしまう「アルゴリズム回避(algorithm aversion)」を実験で示した。同じ程度に誤る人間の予測者には寛容なのに、機械の誤りには厳しい。だが彼らは解毒剤も見つけている。予測を自分でわずかにでも修正できる余地を与えられると、人々は不完全なアルゴリズムでも使うようになり、修正がごく限られていても、結果として成績まで上がったのだ。完全な明け渡しでも完全な拒絶でもなく、手を加えられるという感覚が、人間を機械と協働させた。逆に、心理学者のJennifer Logg(ジェニファー・ローグ)らが2019年に複数の実験で示したのは、人々がしばしば人間よりアルゴリズムの助言を重んじる「アルゴリズム礼賛(algorithm appreciation)」だった。ただしこの傾向は専門家では弱まり、自らの知見を持つ者ほど機械の助言を割り引いた。修正の余地があるか、相手が誰だと思っているか、自分に専門性があるか。人間の制御が形だけに堕すか実質を持つかは、こうした条件に左右される。設計とは、この実質を意図的に作ることにほかならない。
技術・制度・構造の三層で支える
以上を踏まえれば、セーフガードは単一の妙案ではなく、三つの層の組み合わせとして立ち現れる。
第一の層は技術である。理解できないものの責任を負わされる根は、AIの不透明さにある。ならば、AIを人間の意図と価値に沿わせ、その状態を検証できるようにする研究、すなわち「アラインメント(alignment、AIを人間の意図に整合させること)」が土台になる。Jiaming Ji(ジアミン・ジー)ら26名が2023年に公開した包括的サーベイは、この分野の目標を頑健性・解釈可能性・制御可能性・倫理性の四原則(頭文字をとってRICE)に整理した。そのうえで研究を、訓練によってAIを整合させる「前向きの整合」と、整合の証拠を得て適切に統治する「後ろ向きの整合」に分ける。人間より賢いAIの出力をどう監督するかという「スケーラブルな監督(scalable oversight)」は、まさに私たちの問いの核心に切り込む。自分より賢い相手の答えを、どうすれば検算できるのか。一つの発想は、AIどうしを議論させて矛盾をあぶり出す、複雑な課題を人間が点検できる小さな部分へ分解する、あるいは弱いモデルが強いモデルを監督できるかを探る、といった手法である。モデルの内部を読み解こうとする解釈可能性の研究も、理解の非対称そのものを埋めにいく試みだ。これらはまだ発展途上であり、超知能の監督が原理的に可能かどうかも未解決だが、方向性は明快である。人間がAIを少しでも理解できるようにすること。それが他のすべての層の前提になる。理解できないものの責任を負わされる構図を断つには、まず理解の側を押し広げるほかない。
第二の層は制度である。意味のある人間の制御の「追従」と「遡行」を、組織の手続きや法へ翻訳する。ここで効くのが、グリーンの批判の裏返しだ。条文に「人間が監督する」と書き込むだけでは、自動化バイアスの前に空文と化す。監督役には、機械の出力を実際に覆せる権限と時間と情報を与え、その判断が成績に反映される責任構造を組み込まねば、追従の誤りは防げない。同時に、責任が回路の末端の操作者へ流れ込み、その人を衝撃吸収帯に変える設計を避け、賠償責任を設計者や提供組織へ適切に配分する。説明責任の空白を塞ぐために、決定の根拠を市民や同僚へ語れる経路を制度として用意する。四つの責任の空白は連動しているのだから、技術だけ、法だけの万能論に逃げず、束ねて手当てする。理解できない決定を実行する人間を守るのは、英雄的な注意力ではなく、こうした制度の設計である。
賠償責任の配分には、より踏み込んだ法理論も現れている。法学者のBart Custers(バルト・キュステルス)らは2025年、AIのような複雑技術が引き起こす害について、賠償責任が道徳的責任と食い違って割り当てられる「賠償責任の空白(liability gap)」を、逆に「賠償責任の重複(liability overlap)」へ転じる道を論じた。開発から運用までの各段階の接点で、複数の当事者が責任を分かち合い、互いに対する受託者義務(fiduciary duty、相手の利益のために誠実に行動する義務)を負う。誰も責任を負わない空白ではなく、複数が重ねて責任を負う状態をつくる、という発想だ。ただし著者ら自身、これですべての空白が埋まるわけではなく、技術革新を萎縮させる恐れや、判例による具体化の必要があることも認めている。対照的に、AI自身に法人格を与え、責任の主体にしようという提案もある。法学者のJasmine Jade Lovell(ジャスミン・ジェイド・ラヴェル)は2024年、高度なAIへの法人格付与が賠償責任や権利・義務の所在をどう変えるかを検討した。だがこれは、サントーニ・デ・シオらが「法の万能論」として警告した方向、すなわち人間の道徳的責任を機械へ押し出しかねない道でもある。責任を機械の側へ逃がすのか、人間の側で重ねて引き受けるのか。制度設計はこの分岐の上に立っている。
第三の層は、最も見えにくい構造のリスクへの備えだ。そもそも、人間を全面的に超える知能を生み出してよいのか、という最上流の問いがある。研究者のJean-Sébastien Dessureault(ジャン・セバスティアン・デシュロー)らは2025年の論考で、超知能が人類と生物圏にもたらす実存的なリスクを列挙したうえで、こうした前例のない技術には予防原則(precautionary principle、深刻で取り返しのつかない被害の恐れがあるなら、科学的な確証が不十分でも慎重に対処すべきだという考え)を真剣に適用すべきだと論じた。専門家の意見にもとづく規範的な主張であり、結論が定まっているわけではない。だがセーフガードの射程に、「どう作るか」だけでなく「そもそも作るか、どの速さで作るか」という選択を含めるべきことを示している。研究者のJan Kulveit(ヤン・クルヴェイト)らは2025年のプレプリント(査読前論文)で、「漸進的な無力化(gradual disempowerment)」という筋書きを論じた。AIが突如として支配権を奪う劇的な乗っ取りではなく、経済や文化や国家といった社会の基盤的システムから、人間の労働と認知が少しずつ置き換わっていく。すると投票や消費といった明示的な制御も、これらのシステムが人間の参加に依存することで保たれてきた暗黙の利害の一致も、ともに弱まる。各領域の変化が互いを強化し合い、人間の影響力が事実上、取り返しのつかない形で失われていく可能性があるという。予備的な議論ではあるが、示唆は重い。個々の判断に意味のある制御を作り込んでも、委任の積み重ねが社会全体の制御を蝕みうる。だからこそ、局所的な安全策と並んで、影響力の漸進的な侵食そのものに目を配る統治が要る。
理解できないものを実行し、その結果を負う。冒頭の非対称に、これらの層はこう答える。問うべきは、人間を回路に残したかどうかではない。その人間が、意味のある制御を持っていたかどうかだ。能力が理解を追い越す時代のセーフガードとは、責められる誰かを末端に用意することではなく、制御と責任が最後まで切り離されないよう、技術と制度と社会の構造を設計し直すことである。それは技術の課題であると同時に、いやそれ以上に、私たちがどんな仕組みのもとで生きるかという、制度設計の課題なのだ。
参考文献
Complacency and Bias in Human Use of Automation: An Attentional Integration
・出典: Human Factors, 52(3), 381-410 (2010)
・著者: Raja Parasuraman, Dietrich Manzey
・エビデンスレベル: 中〜強(複数の実験研究を統合した理論的レビュー)
・DOI: 10.1177/0018720810376055
Automation bias: a systematic review of frequency, effect mediators, and mitigators
・出典: Journal of the American Medical Informatics Association, 19(1), 121-127 (2011)
・著者: Kate Goddard, Abdul Roudsari, Jeremy C. Wyatt
・エビデンスレベル: 強(1万3千件超から選定した74件の系統的レビュー)
・DOI: 10.1136/amiajnl-2011-000089
Overcoming Algorithm Aversion: People Will Use Imperfect Algorithms If They Can (Even Slightly) Modify Them
・出典: Management Science, 64(3), 1155-1170 (2016)
・著者: Berkeley J. Dietvorst, Joseph P. Simmons, Cade Massey
・エビデンスレベル: 中(複数の事前登録的な統制実験)
・DOI: 10.1287/mnsc.2016.2643
Meaningful Human Control over Autonomous Systems: A Philosophical Account
・出典: Frontiers in Robotics and AI, 5, 15 (2018)
・著者: Filippo Santoni de Sio, Jeroen van den Hoven
・エビデンスレベル: 弱(規範的・哲学的議論)
・DOI: 10.3389/frobt.2018.00015
Algorithm appreciation: People prefer algorithmic to human judgment
・出典: Organizational Behavior and Human Decision Processes, 151, 90-103 (2019)
・著者: Jennifer M. Logg, Julia A. Minson, Don A. Moore
・エビデンスレベル: 中(複数の統制実験)
・DOI: 10.1016/j.obhdp.2018.12.005
Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction
・出典: Engaging Science, Technology, and Society, 5, 40-60 (2019)
・著者: Madeleine Clare Elish
・エビデンスレベル: 弱(事例分析にもとづく概念的研究)
・DOI: 10.17351/ests2019.260
Algorithmic Decision-Making and the Control Problem
・出典: Minds and Machines, 29(4), 555-578 (2019)
・著者: John Zerilli, Alistair Knott, James Maclaurin, Colin Gavaghan
・エビデンスレベル: 中(実証文献の統合にもとづく概念的分析)
・DOI: 10.1007/s11023-019-09513-7
Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them
・出典: Philosophy & Technology, 34, 1057-1084 (2021)
・著者: Filippo Santoni de Sio, Giulio Mecacci
・エビデンスレベル: 弱(規範的・哲学的議論)
・DOI: 10.1007/s13347-021-00450-x
The flaws of policies requiring human oversight of government algorithms
・出典: Computer Law & Security Review, 45, 105681 (2022)
・著者: Ben Green
・エビデンスレベル: 中(41政策の精査と実証的知見の総合)
・DOI: 10.1016/j.clsr.2022.105681
The risks of autonomous machines: from responsibility gaps to control gaps
・出典: Synthese, 201, 21 (2023)
・著者: Frank Hindriks, Herman Veluwenkamp
・エビデンスレベル: 弱(規範的・哲学的議論)
・DOI: 10.1007/s11229-022-04001-5
AI Alignment: A Comprehensive Survey
・出典: arXiv preprint, 2310.19852 (2023)
・著者: Jiaming Ji, Tianyi Qiu, Boyuan Chen ほか26名
・エビデンスレベル: 中(分野全体を体系化したサーベイ)
・DOI: 10.48550/arXiv.2310.19852
Clinicians risk becoming “liability sinks” for artificial intelligence
・出典: Future Healthcare Journal, 11(1), 100007 (2024)
・著者: Tom Lawton, Phillip Morgan, Zoë Porter ほか
・エビデンスレベル: 弱(論説・分析)
・DOI: 10.1016/j.fhj.2024.100007
Legal Aspects of Artificial Intelligence Personhood: Exploring the Possibility of Granting Legal Personhood to Advanced AI Systems and the Implications for Liability, Rights and Responsibilities
・出典: International Journal of Artificial Intelligence and Machine Learning, 4(2), 23-40 (2024)
・著者: Jasmine Jade Lovell
・エビデンスレベル: 弱(法理論・論説)
・DOI: 10.51483/ijaiml.4.2.2024.23-40
From liability gaps to liability overlaps: shared responsibilities and fiduciary duties in AI and other complex technologies
・出典: AI & Society (2025)
・著者: Bart Custers, Henning Lahmann, Benjamyn I. Scott
・エビデンスレベル: 弱(規範的・法理論的議論)
・DOI: 10.1007/s00146-024-02137-1
The ethics of creating artificial superintelligence: a global risk perspective
・出典: AI and Ethics (2025)
・著者: Jean-Sébastien Dessureault, Robert Lamontagne, Pierre-Olivier Parisé
・エビデンスレベル: 弱(専門家の意見・論説)
・DOI: 10.1007/s43681-025-00793-7
Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development
・出典: arXiv preprint, 2501.16946 (2025)
・著者: Jan Kulveit, Raymond Douglas, Nora Ammann ほか
・エビデンスレベル: 弱(予備的・概念的議論、査読前プレプリント)
・DOI: 10.48550/arXiv.2501.16946