エージェント型ワークフローの境界 — どこまで自律に委ねるか

AIが自らツールを呼び出し、サブタスクに分割し、複数の手順を連ねて目標に向かう——エージェント型のワークフローは、単発の応答よりはるかに多くを自動化する。だが自律の範囲を広げるほど、誤りが誤りを呼ぶ連鎖のリスクも増える。どこまでを自律に委ね、どこで境界を引くのか。本稿では、エージェント型ワークフローの境界設計を論じる。

自律が生む複利のリスク

単発の応答なら、誤りはその一回で完結する。だがエージェントが手順を連ねる場合、途中の小さな誤りが次の手順の前提となり、誤差は複利で膨らむ。序盤の誤った検索結果が、その後のすべての判断を汚染する。自律の長さは、誤り増幅の長さでもある。だからこそ、どこまで連鎖を許すかが設計の核心になる。

境界を引く二つの問い

境界の位置は、各操作について次の二点を問うことで定まる。

• 取り返しがつくか——その操作は後から取り消せるか。下書きの生成は可逆だが、メールの送信や決済は不可逆である。
• 途中で検証できるか——連鎖の中間状態を人間が確認できるか。ブラックボックスのまま最後まで走る設計は、検証点を持たない。

不可逆で、かつ検証点のない操作は、自律の外に置くべきだ。逆に、可逆で検証点のある操作は、連鎖に含めても被害が限定される。この線引きは、Human-in-the-loop の設計で述べた「影響が大きく、人間が覆せる地点」の考え方と一致する。

不可逆な地点を自律の外に出す

実務では、可逆な処理をエージェントに任せ、不可逆な操作の直前で人間に制御を戻す構成が扱いやすい。情報の収集・整理・草案生成までは自律に委ね、外部への送信や決済といった不可逆な一歩は人間の承認を要件にする。これにより、誤りの連鎖は不可逆の壁の手前で止まる。

もっとも、承認を挟めば安全という単純な話ではない。承認点が多すぎれば自律の利点が消え、人間は惰性で承認しがちになる。境界は、安全と効率のあいだで選ばれるトレードオフである。

境界は手渡しの設計に還元される

ただし、境界を引くことは、そこで制御をどう受け渡すかを決めることでもある。エージェントから人間へ、人間からエージェントへ——この受け渡しが雑だと、境界を引いても機能しない。誰が今その処理の主体で、どの情報が引き継がれるのか。この点は手渡しの設計原理で詳述する。境界設計と手渡し設計は、同じ問題の二つの側面である。

結び

エージェント型ワークフローの価値は自律の範囲に比例するが、リスクもまた比例する。境界は「取り返しがつくか」「途中で検証できるか」の二問で引かれ、不可逆かつ検証不能な地点は自律の外に置かれる。自律をどこまで許すかは、技術の限界ではなく、取り返しのつかなさをどこに見るかという設計判断である。