COLUMN

医療AIの「正しい誤り」と人間の「正しい誤り」——エラーの非対称性が問う責任の所在

META: AIは統計的に最適な誤りを犯し、人間は認知バイアスによって歪んだ誤りを犯す。どちらの誤診がより「許容可能」か。この問いは医学倫理の問題ではなく、エラーの構造そのものを解剖する認識論的な問いである。疫学データと神経科学から責任の輪郭を描く。

責任とは、行為の帰結を特定の主体へ帰属させる概念である。アリストテレスは『ニコマコス倫理学』において、責任の帰属に「自発性(hekousion)」と「知識(episteme)」の両条件を要求した。行為者が自らの意志で行動し、かつその行為の性質を知っていた場合にのみ、道徳的責任が成立するというのが彼の枠組みである。この古典的定義を医療AIに適用しようとした瞬間、私たちは奇妙な断絶に気づく。AIは「知っている」のか、「意志する」のか。

2023年にLancet Digital Healthに掲載されたシステマティックレビューによれば、深層学習モデルによる画像診断の感度・特異度は、特定の病理(皮膚科領域の悪性黒色腫、眼科領域の糖尿病性網膜症等)において熟練専門医と統計的に同等か、それ以上の成績を示している。一方で、同じモデルが訓練データに存在しない患者集団(人種・年齢・医療機器の異なるコホート)に適用された際、エラー率は劇的に上昇する。これはAIが「知っている」ように見えて、実は「記憶している」に過ぎないことを示唆する。

対照的に、人間の医師が犯す誤診のパターンは1970年代から体系的に研究されてきた。Amos TverskyとDaniel Kahnemanが提唱したヒューリスティクスとバイアスの枠組みは、医療判断においても適用される。利用可能性ヒューリスティクス(直近の経験が判断を歪める)、アンカリング(最初の診断に引きずられる)、早期閉鎖(鑑別診断を十分に検討せずに結論を出す)——これらは2005年のJournal of General Internal Medicineの研究で、内科救急における誤診の主要因として確認されている。

ならば問いはこうなる。統計的最適解を外れたとき「沈黙」するAIと、感情・疲労・先入観によって体系的に歪むヒューマンエラーは、同じ「誤診」という言葉で語られるべきか。この問いは医事法学の問題である以前に、エラーの存在論的な差異を直視することを要求する。

エラーの非対称性——統計的誤りと認知的誤り

エラーには構造がある。工学的信頼性理論において、システムの故障モードは「ランダム故障」と「系統的故障」に分類される。ランダム故障は予測不可能な確率過程によって生じ、系統的故障は設計上の欠陥や環境変化への不適合によって一定方向に偏る。医療AIのエラーは本質的に系統的であり、訓練データの偏り(データバイアス)、ラベリングの不正確さ、分布シフト(distribution shift)によって、特定の患者集団に対して一貫して不利な方向に歪む。

2019年にScienceに掲載されたObermeyerらの研究は、米国の大規模病院で使用されていた商用アルゴリズムが、黒人患者の医療需要を白人患者と比較して系統的に過少評価していたことを示した。同程度の疾病負荷を持つ患者の中で、黒人患者は健康リスクスコアが低く算出され、ケアへのアクセスが制限されていた。アルゴリズムは医療費支出データを「健康状態」の代理変数として使用していたが、これは歴史的な医療アクセスの不平等を反映したものであり、結果として差別的なアウトカムを再生産した。

人間の医師のエラーは異なる構造を持つ。Harvard Medical Practice Studyの古典的研究(1991年)では、入院患者の約3.7%に有害事象が発生し、そのうち約27.6%に過失が認められた。過失の多くは手技的エラーではなく、判断エラーであった。Gordon Schulmanらが2012年にNew England Journal of Medicineに発表した研究では、心臓専門医が心臓カテーテル検査の必要性を判断する際、患者が肥満である場合に系統的に過少評価する傾向が示された。これは医師の認知システムにおけるステレオタイプ化の問題であり、人間のエラーもまた「ランダム」ではなく「系統的」である。

ポイント:AIのエラーはアルゴリズムの設計と訓練データに由来する系統的偏りであり、人間のエラーは神経認知的バイアスと感情状態に由来する系統的偏りである。どちらも「ランダムノイズ」ではなく、予測可能な構造を持つ。

誤診の神経科学——前頭前皮質とアミグダラの拮抗

人間の診断的思考は、ノーベル経済学賞受賞者Daniel Kahnemanの枠組みを借りれば、「システム1(速い・直感的)」と「システム2(遅い・分析的)」の相互作用として記述できる。救急医療のような高度に時間制約のある環境では、システム1による直感的判断が優位になる。この直感の神経基盤は、扁桃体(amygdala)と腹内側前頭前皮質(vmPFC)のネットワークに求められる。

Antonio Damasioが提唱したソマティック・マーカー仮説(somatic marker hypothesis)によれば、意思決定は純粋に論理的な計算過程ではなく、身体的な感情状態(ソマティック・マーカー)が選択肢を事前に絞り込む過程を含む。vmPFCに損傷を持つ患者では、論理的推論能力は保持されているにもかかわらず、日常的な意思決定が著しく障害される。診断的判断における「直感」は、過去の臨床経験によって形成されたソマティック・マーカーの発火として理解できる。

問題は、このシステムが疲労・ストレス・感情的覚醒によって容易に歪むことである。コルチゾールが高水準で分泌される状態(急性ストレス反応)では、前頭前皮質(PFC)の活動が抑制され、扁桃体の反応性が増大することが複数のfMRI研究で示されている。長時間勤務後の医師では、PFCの実行機能(executive function)が低下し、パターン認識への依存が強まる。このとき、稀な疾患は「見えなくなり」、ありふれた診断が過剰に適用される。

背外側前頭前皮質(dlPFC)はワーキングメモリと認知的柔軟性を担い、複数の診断仮説を並行して保持する機能を支える。睡眠不足はdlPFCの代謝活動を選択的に低下させることが、PETスタディで確認されている。36時間連続勤務後の研修医のエラー率が約36%上昇するという2004年のNew England Journal of Medicineのデータは、この神経科学的知見と整合する。

医療AIの内部構造——深層学習は「理解」するのか

現代の医療AIの主流は畳み込みニューラルネットワーク(CNN)と Transformer アーキテクチャに基づく深層学習モデルである。これらのモデルは、入力データと出力ラベルの間の統計的相関を多層の非線形変換によって近似する。重要なのは、これらのモデルが因果関係を学習するのではなく、相関関係を学習するという点である。

Judea Pearlは著書『The Book of Why』(2018年)において、統計的相関と因果推論を厳密に区別する「因果の梯子(ladder of causation)」を提唱した。Pearlの枠組みでは、現在の深層学習モデルは梯子の第一段(観察・相関の検出)にとどまり、第二段(介入・反実仮想)には達していない。医師が「この患者にβ遮断薬を投与したら何が起きるか」を推論するとき、それは反実仮想的思考(counterfactual reasoning)であり、現在のAIが自律的に実行できる操作ではない。

さらに深刻な問題として、深層学習モデルの「説明不可能性(explainability problem)」がある。モデルが特定の診断を出力した際に、その判断根拠を人間が理解可能な形で提示することは、現在の技術では限定的にしか実現できない。GradCAMや LIME等の解釈可能性手法(interpretability methods)は部分的な説明を提供するが、完全な透明性は得られていない。これは、誤診が発生した際に「なぜ誤ったか」の分析が困難であることを意味する。

医療AIを産業医学的文脈で考えるとき、特に注目すべきは職域のメンタルヘルス診断支援への応用である。PHQ-9やGAD-7等の標準化尺度を用いたスクリーニングAIは、大規模スクリーニングにおいて統計的有効性を持つ一方で、文化的背景・言語的ニュアンス・職場文脈への感受性は限定的である。面接による臨床評価が不可欠な場面は依然として存在し、AIはあくまでトリアージの補助ツールとして位置づけられる。

Z世代社員に特化した

Z産業医事務所

Z産業医事務所は、国内初のZ世代にあたる新入社員や若手社員のメンタルケアに特化した新しい産業医事務所です。AIドクターやオンライン面談システムを駆使して、都内にある本社から離島をはじめとした僻地や地方の支店・営業所も含めた全国のメンタル不調の社員様を24時間体制でフォローすることが可能です。

Z産業医事務所 公式Webサイト
Z産業医事務所

医療AIが誤診に関与した場合、責任はどこに帰属するか。現行の医事法体系において、この問いへの回答は各国によって異なるが、共通する原則がある。日本の医療法・民法体系では、最終的な診断責任は医師にある。医師がAIの出力を参照したとしても、その出力を診断に採用した判断責任は医師に帰属する。これはAIが「推薦システム」として機能する現在のアーキテクチャにおいて、法的には一貫した立場である。

しかしこの立場は、技術的現実と乖離しつつある。AIが医師の判断よりも高い感度・特異度を持つ特定のタスク(例:胸部X線における肺結節の検出、デジタル眼底写真における糖尿病性網膜症の分類)において、医師がAIの推奨に反する判断を下し、その判断が誤りであった場合はどうか。逆に、医師がAIの推奨に従い、AIが誤りであった場合は?

EUのAI法(EU AI Act、2024年成立)は医療AIを「高リスクシステム」に分類し、適合性評価、透明性要件、人間の監督(human oversight)の義務を課している。米国ではFDAがSaMD(Software as a Medical Device)規制を整備しつつあるが、責任帰属の法的枠組みは製造物責任法の適用範囲をめぐって未解決の問題が残る。AI開発企業・医療機器販売業者・医療機関・個々の医師という複数の主体が関与する責任の連鎖(chain of liability)を、従来の医療過誤法の概念は十分に捕捉できない。

英国では2021年のLaw Commission報告書「Automated Vehicles」において、自律的システムの誤動作に対する責任を製造者に帰属させる「製造物安全モデル」を採用する方向性が示されたが、医療AIへの直接適用は慎重に議論されている段階である。

誤診の疫学——数字が示す現実

医療における誤診の規模は、一般に認識されているよりはるかに大きい。BMJ Quality & Safetyに2013年に掲載されたSinghらのシステマティックレビューによれば、外来診療における誤診率は約5.08%(95%CI:4.41–5.75%)と推定される。米国の外来受診数に換算すると、年間約1,200万件の誤診が発生していることになる。

重症度の高い疾患における誤診は特に深刻な帰結をもたらす。Society to Improve Diagnosis in Medicine(SIDM)が2023年に発表したレポートでは、米国において診断エラーが関与する重篤な害(serious harm)は年間約795,000件と推定されており、その約半数が外来における誤診・診断遅延に起因するとされている。疾患別には、がん・心血管疾患・感染症の3カテゴリーが誤診関連死亡の約75%を占める。

疾患カテゴリー 誤診率の推定値 主な誤診パターン AIの現状性能
肺がん(早期) 約10〜15%(初診時) 気管支炎・肺炎との誤認 胸部CT読影でAUC 0.94(Ardila et al., 2019)
急性心筋梗塞 約2〜5%(救急外来) 逆流性食道炎・筋骨格系との誤認 心電図AIでAUC 0.90〜0.95
くも膜下出血 約12%(初診時) 緊張型頭痛との誤認 CT読影AIで感度95%以上(一部研究)
大うつ病性障害 約30〜50%(プライマリケア) 甲状腺疾患・身体化障害との誤認 音声・テキスト解析AIで感度70〜80%(研究段階)
敗血症(早期) 約40%(初期認識) 単純感染症との誤認・過少評価 EHRベースAIでAUROC 0.85〜0.90

医療AIによる誤診の疫学データは、人間の誤診データと比較して、まだ実臨床環境での大規模研究が限られている。制御された研究環境(retrospective validation)での性能と、実際の臨床環境での性能には「実装ギャップ(implementation gap)」が存在する。2022年のNature Medicineの論文では、FDA承認済みの複数の眼科AIモデルが、実際の診療環境では承認時の性能を再現できなかったことが報告されている。

精神医学とAI——最も困難な接点

精神医学領域は、医療AIの適用において特別な困難を抱える。精神疾患の診断は、DSM-5(第5版)やICD-11の診断基準に基づくが、これらの基準は本質的に現象学的・記述的であり、生物学的バイオマーカーによる検証が困難な場合が多い。大うつ病性障害(MDD)の診断を例にとると、DSM-5では9つの症状のうち5つ以上が2週間以上持続し(うち抑うつ気分または興味・喜びの喪失のいずれかを含む)、機能障害を伴うことが必要とされる。

この診断プロセスには、患者との言語的・非言語的相互作用、文化的背景の考慮、症状の時間的経過の把握、そして除外診断(甲状腺機能低下症、貧血、悪性腫瘍等の身体疾患)が不可欠である。現在の自然言語処理(NLP)モデルは、構造化面接(例:SCID-5)のテキストデータを解析して診断精度を高める試みが進んでいるが(2023年のJAMA Psychiatryに予備的報告)、これが実臨床での誤診率に与える影響は未解明である。

精神医学における誤診の臨床的帰結は深刻である。双極症は大うつ病性障害と誤診されることが多く、Hirschfeld et al.(2003年)の調査では、双極症患者の約69%が初診時に誤診されており、正確な診断を受けるまでに平均10.0年を要していた。この間に抗うつ薬単剤投与による躁転リスクが生じる。統合失調症においては、物質関連障害・双極症との鑑別が困難な初期段階で誤診された場合、抗精神病薬の適切な開始が遅延し、機能予後に影響を与える可能性が指摘されている。

ポイント:精神医学的診断における現象学的複雑性は、パターンマッチングに基づく深層学習の最も苦手とする領域と重なる。症状の主観的体験・内省報告・文化的文脈への感受性は、現在のAIアーキテクチャが体系的に捕捉し損なうリスクが高い。

責任の構造——帰責性の哲学的再定位

哲学者P.F. Strawsonは1962年の論文「Freedom and Resentment」において、責任を問う実践を「反応的態度(reactive attitudes)」の共同体に根ざしたものとして定位した。怒り・感謝・憤慨といった感情的反応は、行為者を意図を持つ存在として扱う関係性の中でのみ成立する。AIは現在、この「意図を持つ存在」として扱われる存在論的地位を持たない。したがって、Strawsonの枠組みでは、AIに対する責任追及は道徳的感情の文法的誤用となる。

しかし、これは責任が消失することを意味しない。責任は「AIを設計した組織」「AIを承認した規制機関」「AIを臨床に採用した医療機関」「AIの出力を使用した医師」へと分散し、再帰属される。この分散責任(distributed responsibility)の枠組みは、Helen Nisenbaum(1996年)が「コンピュータシステムにおける責任の希薄化」として記述した問題と正確に対応している。責任が多くの主体に分散するとき、各主体における責任感は希薄化し、結果として誰も真剣に問われない「責任の空洞化」が生じる。

医療AIの文脈では、この責任の空洞化を制度的に防止するメカニズムの設計が、純粋な技術的問題と並行して解決されるべき喫緊の課題となっている。European Society of Radiologyは2019年に、AIの出力を「診断補助」として記録し、最終診断の署名責任を読影医師が保持する「サインオフモデル」を推奨している。このモデルは法的明確性を提供するが、AI推奨を覆すことへの心理的障壁(アルゴリズム的権威への服従)という新たな問題を生む。

まとめ

  • 医療AIのエラーは訓練データの偏りと分布シフトに由来する系統的故障であり、ランダムノイズではない。特定の患者集団(人種的少数派・高齢者・希少疾患患者)において一貫した方向性の誤りを生じさせる。
  • 人間の医師のエラーは前頭前皮質と扁桃体の神経認知的拮抗、疲労・ストレスによるdlPFCの機能低下、ソマティック・マーカーの歪みに起因する認知的系統誤差である。
  • 外来診療における誤診率は約5%と推定され、米国では年間約1,200万件の誤診が発生している。がん・心血管疾患・感染症の3カテゴリーが誤診関連死亡の約75%を占める。
  • 深層学習モデルは統計的相関を学習するが因果推論を実行しない。これは反実仮想的思考が必要な複雑な臨床場面においてAIが本質的な限界を持つことを意味する。
  • 精神医学的診断は現象学的記述に基づき、文化的文脈・言語的ニュアンス・主観的体験の把握を要求するため、現在のAIアーキテクチャが最も苦手とする領域である。双極症の診断遅延(平均10年)は、この問題が既に深刻な臨床帰結をもたらしていることを示す。
  • EU AI Act・FDA SaMD規制等の国際的枠組みは整備途上であり、AIが関与した誤診における責任帰属の法的解決は未完成である。分散責任による「責任の空洞化」を防ぐ制度設計が急務である。
  • 医療AIを産業医学・メンタルヘルス領域に適用する場合、スクリーニング補助としての有効性は認められるが、文化的背景・職場文脈を考慮した臨床評価の代替にはなりえない。

Closing Note

「誤る」という行為の倫理的重みは、誤りの構造と誰が誤ったかによって非対称に配分される。人間が誤るとき、そこには疲弊した前頭前皮質、過去の経験によって形成されたバイアス、感情状態と知覚の複雑な絡み合いがある。AIが誤るとき、そこにあるのは設計者の選択、訓練データの歴史的偏り、最適化関数の定義の問題である。どちらの誤りも「無構造ではない」という点で同等であり、どちらの誤りも「予防可能な部分を持つ」という点で同等の分析対象となる。

しかし、責任を問う行為が単なる帰責性の論理演算ではなく、社会的実践として機能するためには、誤りを犯した主体が「次に誤らないための学習」を行う回路を持たなければならない。組織が誤診から学ぶとき、個々の医師が自らのバイアスを内省するとき、AI開発者が訓練データの偏りを修正するとき——責任の追及は初めて、その本来の機能を果たす。責任は罰の問題である以前に、エラーから知識を生成する認識論的プロセスの問題である。

AIドクターのメンタルチェック

AIドクターの
メンタルチェック

AIドクターとのメンタルチェックは、5分〜10分程度です。AIドクターとお話ししながら、あなたのメンタルをチェックします。

AIドクターの診断を受けてみる
← コラム一覧へ

President Doctor

代表医師・著者

近澤徹

近澤 徹

Medi Face代表医師、精神科医、産業医

北海道大学医学部を卒業後、慶應義塾大学病院で研修を経て、名古屋市立大学病院の客員研究員として臨床と研究に従事。医師であり経営者として、医療とテクノロジーを融合させた次世代ヘルスケアを推進中。在学中に創業したMedi Face社では、オンライン診療システム「Mente」を開発し、全国の患者への診療サービスを提供。また、100社以上の企業にAIドクターを導入し、自身も産業医として社員のメンタルケアを日々支援している。「下医は病を治し、中医は民を治し、上医は世を治す」を信条に、医療の枠を超えてヒトと社会を診る。

鳳應会グループ — 関連サービス

医療法人鳳應会北海道を拠点とする医療法人。精神科・産業保健・地域医療を提供 MentalCheck職場のメンタルヘルスをオンラインでセルフチェックするサービス Z産業医事務所産業医・ストレスチェック・産業保健の専門機関