Human-in-the-loop の設計 — 人はどこで介入すべきか

AIに任せきりにもせず、すべてを人が確かめもしない。その中間に、人間がどこで介入するかを決める設計問題がある。Human-in-the-loop——人を処理の輪の中に組み込む——という言葉は広く使われるが、「どこに」「どの権限で」人を置くかを詰めなければ、実務では機能しない。介入点が多すぎれば自動化の利点が消え、少なすぎれば誤りが素通りする。本稿では、介入点を決める原理を整理する。

「輪に入れる」だけでは足りない

人を処理に関与させても、その人が実質的な判断をしていなければ介入とは呼べない。長い自動処理の末尾に承認ボタンを置いても、担当者が中身を検討せず押すだけなら、それは介入の外形にすぎない。Amershiらの人間とAIの相互作用に関する指針が繰り返し強調するのは、人間が制御を保持し、必要なら覆せることの重要性である。介入とは、拒否できる権限のことだ。

介入点をどこに置くか

すべての段階に人を置くのは非効率であり、自動化の意味を失わせる。介入点は、次の二条件が重なる地点に絞るべきである。

• 誤りの影響が大きい——見逃した誤りが下流に大きく波及する地点。
• 人間が判断を覆せる——人間が情報を持ち、実際に別の選択ができる地点。

影響は大きいが人間に覆す術がない地点に承認を置いても、責任だけが移り、質は上がらない。逆に、覆せるが影響の小さい地点に人を置くのは、資源の浪費である。この二条件は、意思決定の監査可能性で挙げた重要判断の記録点とほぼ重なる。介入点と記録点をそろえると、設計が単純になる。

介入の質を保つ

ただし、介入点を正しく置いても、人間が惰性で承認してしまえば意味がない。これは自動化バイアスの一形態であり、AIの提示と認知バイアスで論じたとおり、機械の出力への過信から生じる。介入の質を保つには、人間に判断材料を——結論だけでなく根拠と代替案を——示し、拒否のコストを下げておく必要がある。承認と拒否が同じ手間なら、人は承認に流れる。

介入から手渡しへ

一方、介入は一度きりとは限らない。処理が人とAIの間を何度も往復する場合、介入は制御の受け渡し——手渡し(handoff)——の連続になる。誰が今その判断の主体なのかを明示しないと、責任が宙に浮く。この連続的な受け渡しの設計は手渡しの設計原理で扱う。

結び

Human-in-the-loop は、人を輪に入れれば達成される標語ではない。誤りの影響が大きく、人間が実際に覆せる地点に、拒否できる権限を伴った介入点を置く——その設計があって初めて、人の関与は質に貢献する。形だけの承認は、責任を移すだけで誤りを止めない。