AIが「肺炎なし」と判定し、医師がそれを信じて患者を帰宅させ、翌日その患者が重症肺炎で搬送された。誰が責任を負うのか。これは仮定の話ではない。
「責任のギャップ」問題
AIの導入により、医療における責任の構造に「ギャップ」が生じている。従来の医療では、責任の所在は比較的明確であった。
- 医師の過失:注意義務違反に基づく不法行為責任(民法第709条)
- 病院の責任:使用者責任(民法第715条)または安全配慮義務違反
- 医療機器の欠陥:製造物責任法(PL法)に基づく製造者の責任
しかしAIが介在すると、責任の帰属が複雑化する。
責任のギャップとは
責任のギャップ(responsibility gap)とは、AI意思決定の結果について、既存の法的枠組みでは責任を負うべき主体が明確に特定できない状態を指す。人間でもなく機械でもなく、「誰も悪くない」が「患者は被害を受けた」という矛盾が生じる。
関係者ごとの責任分析
1. 医師の責任
法的根拠
- 注意義務(民法第709条):医師は、当該専門分野における合理的な医師が有すべき知識・技能をもって診療にあたる義務がある
- 結果予見義務と結果回避義務:医療過誤訴訟における過失の判断基準
AIとの関係
医師がAI出力を盲目的に信頼し、自身の臨床判断を放棄した場合、注意義務違反が認定される可能性が高い。
最高裁判例(平成7年6月9日)は、医師の注意義務の水準について「診療当時のいわゆる臨床医学の実践における医療水準」と判示している。
問題は、AIが普及した時代において「医療水準」が何を意味するかである。
- AIの利用が「標準的な医療水準」と認められる場合、AIを使わないことが過失となりうる
- 逆に、AI出力を検証せずに採用したことが「標準以下」と認められる場合、AI依存が過失となる
現時点では、日本の裁判所がAI支援診断に関する過失基準を明確に示した判例はない。しかし、以下の原則は確立している。AIは道具であり、最終的な判断責任は医師にある。AIが誤ったとしても、医師がAI出力を検証せずに採用した場合、医師の注意義務違反が問われうる。
2. AI開発者の責任
製造物責任法(PL法)の適用
PL法第2条第1項は、製造物を「製造又は加工された動産」と定義している。AIソフトウェア(特にSaMD: Software as a Medical Device)がPL法の対象となるかは議論がある。
- 従来の解釈:ソフトウェア単体は「動産」ではなく、PL法の対象外
- 近年の議論:医療機器に組み込まれたソフトウェアは、医療機器の一部としてPL法の対象となりうる
- SaMD:独立したソフトウェアとして医療機器認証を受けたもの(薬機法第2条第4項)は、PL法の適用を受ける可能性が高い
瑕疵担保責任・契約不適合責任
AIシステムの提供が売買契約または請負契約に基づく場合、契約不適合責任(民法第562条以下)が問題となる。AIの精度が契約で合意された水準を下回る場合、開発者は責任を負いうる。
不法行為責任
AIの設計上の欠陥、学習データの不備、十分なバリデーションの欠如などが原因で患者に害が生じた場合、開発者の不法行為責任(民法第709条)が問われうる。
3. 病院の責任
使用者責任
病院は、その被用者(医師)がAIを不適切に使用して患者に損害を与えた場合、使用者責任(民法第715条)を負いうる。
組織的過失
AIの導入にあたり、適切な研修、ガイドラインの策定、モニタリング体制の整備を怠った場合、病院の組織的過失が問われうる。
- AIの運用ルールを策定していなかった
- 医師に対するAI利用研修を実施していなかった
- AIの性能劣化を監視する仕組みがなかった
- AI関連のインシデント報告制度がなかった
4. 規制当局の責任
AIを医療機器として承認した規制当局(PMDA)が、承認プロセスに不備があった場合、国家賠償法第1条に基づく国の責任が問われる可能性がある。ただし、薬機法に基づく規制権限の不行使に関する国の責任は、厳格な要件のもとでのみ認められる。
シナリオ分析:誰が責任を負うか
シナリオ1:AIの推奨を採用したが誤りだった
放射線科AIが胸部CT画像を「正常」と判定。担当医はAIの判定を確認し、自身の読影でも異常を見出せず、そのまま患者に「異常なし」と説明。3か月後、患者に肺がんが発見され、AI判定時の画像に見落としがあったことが判明。
責任の所在:
- 医師:AI判定を確認した上で自身の臨床判断として「異常なし」と判断しており、AIへの盲目的依存とは言えない。ただし、臨床的に疑わしい所見があったにもかかわらず見落とした場合は過失が認定されうる
- AI開発者:AIの性能が添付文書に記載された精度を大幅に下回っていた場合、PL法または不法行為責任
- 病院:AIの性能モニタリングを怠っていた場合、組織的過失
シナリオ2:AIの推奨に反して医師が判断したが誤りだった
AIが「悪性の疑い、追加精査を推奨」と判定。しかし担当医は自身の経験から「良性」と判断し、追加精査を行わなかった。結果として悪性病変であった。
責任の所在:
- 医師:AIの推奨を覆した判断に合理的根拠があったかが争点。合理的根拠なくAI推奨を無視した場合、過失が認定される可能性。ただし、AI推奨を常に優先する義務は現行法にはない
- AI開発者:AI推奨が正しかった場合、開発者の責任は問われにくい
- 病院:AI推奨を覆す場合のプロトコル(セカンドオピニオン取得など)が整備されていなかった場合
シナリオ3:AIが予測不能な誤りを犯した
AIの学習データに含まれていないまれな疾患パターンにより、AIが完全に誤った判定を出力。医師も気づかなかった。
責任の所在:
- 医師:out-of-distribution入力を認識できなかった点について過失が問われるかは、「標準的な医師」であればAIの限界を認識すべきだったかどうかによる
- AI開発者:out-of-distribution検出機能の欠如、使用説明書での注意喚起の不足
- 病院:AIの使用範囲を限定するポリシーの不備
国際的な責任モデルの動向
EU:AI責任指令(AI Liability Directive)
EUは2022年にAI責任指令案を公表し、以下の原則を示した。
- 過失の推定(rebuttable presumption of fault):AI開発者がEU AI Actの義務に違反した場合、過失が推定される
- 因果関係の推定:AI出力と損害の因果関係が推定され、立証責任が被害者から開発者に転換される
- 情報開示義務:被害者がAI開発者に対して、AIの設計・学習データ等の開示を請求できる
米国:既存の不法行為法と製造物責任法
米国では、AI固有の責任法は制定されておらず、既存の法的枠組み(製造物責任法、医療過誤法)の適用により対応している。FDA認証を受けた医療AIについては、連邦法による責任制限が議論されている。
日本:現行法の適用と今後の展望
日本では、AI固有の責任法制は未整備であり、現行法(民法、製造物責任法、薬機法)の解釈により対応している状況にある。
責任の明確化に向けた提言
AI利用記録の義務化
AI出力とそれに対する医師の判断を、カルテに体系的に記録する。AI推奨を採用した場合も覆した場合も、理由を記録する。
責任分担契約の整備
AI開発者と医療機関の間で、責任分担を明確にした契約を締結する。AIの性能保証、データ管理責任、損害賠償の分担を定める。
AI賠償保険の整備
AI関連の医療事故に対応する新たな保険商品の開発と普及を促進する。
立法的対応
AI固有の責任法制(EUのAI責任指令に相当するもの)の整備を検討する。
医師のための自己防衛策
現行法の枠組みの中で、医師が自らを守るための実践的対策は以下のとおりである。
診療前
- 使用するAIの承認状況(薬機法上の位置づけ)を確認した
- AIの添付文書・使用説明書を読み、性能・限界を理解した
- 院内のAI利用ガイドラインに従っている
診療中
- AI出力を自身の臨床判断と照合した
- AI出力に疑問がある場合、追加の検討を行った
- AI出力と自身の判断が異なる場合、理由を記録した
- 患者にAI利用の事実を説明した
診療後
- AI出力と医師の判断をカルテに記録した
- AIの異常な出力や疑わしい結果はインシデント報告した
- AI関連の継続研修に参加している
この章のポイント
- AIの導入により「責任のギャップ」が生じている。既存の法的枠組みでは責任の帰属が不明確な場面がある
- 医師:AI出力を検証せず盲目的に採用した場合、注意義務違反が問われうる。最終判断の責任は医師にある
- AI開発者:SaMDとしてPL法の適用を受けうる。性能不足、バリデーション不足は不法行為責任も
- 病院:AI導入に際しての研修、ガイドライン、モニタリング体制の不備は組織的過失となりうる
- EUはAI責任指令で過失の推定・因果関係の推定を導入。日本は現行法の解釈で対応中
- 医師は、AI出力の検証とカルテ記録を徹底し、AI利用研修に参加することが自己防衛策の要