10年前のCNNが最新LLMより皮膚がんを見抜いた
皮膚科医が生検確定の200病変で比較。専用に学習した古いCNNが正答62%、最新LLM2つは42%。汎用より専用が勝つ場面を数字で示した。
#なぜ今日これを選んだか
「とりあえず最新のLLMに聞けばいい」と考えがちな今、皮膚科医が自分で数字を取って確かめた記事です。医療の画像認識は、汎用の大きなモデルより、狭い問題に絞って学習させた小さなモデルの方が強い場面がある。何に何を使うかを選ぶ目を養うのに、ちょうどいい題材でした。
#要点
- 公開データMILK10kから、生検で診断が確定した200病変(黒色腫30を含む)を使い、6つの診断から1つを選ばせて比べた
- 6.8万枚で微調整したInception v3(2015年の古いCNN)が正答125/200(62%)。GPT-6 AstraとClaude Fable 5.1はどちらも約42%
- 良性を「帰してよい」と判定できた数はCNNが76/100、LLMは32と22。LLMは安全側に倒しすぎて、ほぼ全部を要受診にしていた。著者は標本が小さいこと、LLMは1回ずつしか試していないこと、データが公開済みであることを限界として挙げている
#自分にとっての示唆
関節の可動域を測るアプリを作っていると、「全部LLMに画像を見せれば済むのでは」と考えたくなる瞬間があります。この記事は逆で、測る・見分けるといった狭い仕事は、専用に学習させたモデルの方が速く、安く、正確になりうると示しています。LLMは所見を文章にする役、角度は姿勢推定モデルが測る役、と分けるのが筋がよさそうです。もう一つ学んだのは、著者が先に正解の確定した200件を用意してから比べたことです。明日からは、自分のアプリでもゴニオメーターで測った正解との突き合わせを1組ずつ積み、「何度ずれるか」を数字で言えるようにします。