#なぜ今日これを選んだか

自分はいま、カメラで関節の角度を測るアプリを作っている。姿勢推定モデルは点ごとに信頼度を返すが、「0.5以上なら使う」のような閾値を、根拠を確かめずに置きかけていた。この記事はまさにその置き方を批判していて、耳が痛いが今読むべき一本だと思った。

#要点

• AIツールで機能を速く出せるようになった一方、失敗の原因を調べず「たまにダメなこともある」で片付けるのが当たり前になりつつある
• 信頼度スコアを、実際にどれだけ当たるかを確かめないまま「0.9以上ならOK」と使うのは形だけの儀式で、許容できる失敗率の根拠になっていない
• 従来のバグは原因と責任をたどれたが、AIの失敗は見えにくく、ユーザーの感想が「壊れた」から「なんかダメ」に変わってしまう。速く作れる分の手間を、評価の仕組みづくりに回すべきだ

#自分にとっての示唆

可動域アプリで大事なのは「5度の差」だ。後遺障害の等級は数度の違いで変わるので、「たまにズレる」は許されない。いま貯めているゴニオメーター実測値との組を、閾値を決める根拠として使う。具体的には、信頼度の帯ごとに実測との誤差を並べ、「この信頼度なら誤差は何度以内」と数字で言える表を1枚作る。原因の分からないズレが出たら、「たまに」で閉じずにpostmortemに1行残す。速く作ることと、説明できることを両立させたい。

原文を読む →