キャリブレーションと自信度 — モデルの「確からしさ」をどう読むか

モデルが「これは九割方正しい」と申告したとき、その九割をどこまで信じてよいのか。予測の確からしさと、実際に当たる頻度が一致している状態を、キャリブレーション(較正)が取れていると呼ぶ。較正が取れていれば、確信度は行動の指針になる。取れていなければ、自信ありげな出力ほど危険になる。本稿では、確からしさをどう読むべきかを、較正の観点から整理する。

較正とは何を意味するか

あるモデルが多数の予測に「確信度八割」と付けたとする。そのうち実際に八割が正しければ、そのモデルは較正が取れている。七割しか当たらなければ過信、九割当たれば過小評価だ。較正は個々の予測の当否ではなく、確信度の集団的な信頼性を測る概念である。だからこそ、較正は行動設計に直結する。八割の確信度が本当に八割の頻度で当たるなら、閾値を決めて自動処理に回す判断ができる。

現代のモデルは過信しやすい

Guoらは、深いニューラルネットワークが古い浅いモデルよりも較正が悪化しやすいことを示した。精度が上がっても、確信度は実際の正答率より高く出る傾向がある。つまり、性能の高いモデルほど「自信の割に間違える」危険をはらむ。この過信は、出力の流暢さと相まって、人間の側の自動化バイアスを強める。自信ありげな誤りは、最も見抜きにくい誤りである。

確信度をそのまま使わない

ただし、較正の悪さは補正できる。温度スケーリングなどの後処理で、確信度の分布を実際の正答率に近づける手法が知られている。重要なのは、モデルが出す生の確信度を額面どおり受け取らず、較正済みの値として扱うことだ。生の確信度は「モデルの気分」に近く、較正済みの確信度は「賭けてよい確率」に近い。

一方、較正が取れていても、それは平均的な信頼性にすぎない。個別の予測が当たるかどうかは、依然として分からない。較正は「この確信度帯は信じてよい」を教えるが、「この一件は正しい」を保証しない。だから較正は、検証を不要にするのではなく、検証をどこに集中させるかを教える道具である。

較正と委任判断

較正のとれた確信度は、委任の設計を変える。委任と検証のコスト構造で論じたように、検証コストは委任判断の要である。確信度が信頼できるなら、低確信の出力だけを人間の検証に回し、高確信の出力は軽く流す——という配分ができる。較正は、検証資源を最も必要な場所へ振り向けるための羅針盤になる。

結び

確信度は、それ自体では信号にならない。較正が取れて初めて、確からしさは行動の指針になる。現代のモデルが過信しやすいことを踏まえれば、生の確信度を鵜呑みにせず、較正済みの値として読むこと——それが、確からしさと正しく付き合う出発点である。