執筆者：

後藤 優斗（アクセンチュア㈱） 、松尾 正裕 (パナソニックITS(株))

主査：

石川 冬樹（国立情報学研究所）

副主査：

栗田 太郎（ソニー㈱） 、徳本 晋（富士通㈱）

本発表では、機械学習のデータセットによくみられる、ロングテイルな分布において、機械学習の外部品質特性であるAIパフォーマンスとリスク回避性を両立した品質評価手法について提案する。
ロングテイルな分布では、高頻度で出現するメジャーケースと、稀にしか出現しないレアケースに分けることができる。メジャーケースは種類が少ないがデータセット全体におけるウェイトが大きく、レアケースは種類が多いがデータセット全体におけるウェイトは小さい。したがって、利用時の精度を評価するにはメジャーなケースのみを評価すれば概ね評価可能であるが、全体をカバーできているかどうかを評価するためには、レアケースを十分に考慮する必要がある。特に、レアケースにおける誤判定が大きな機会損失につながることがあるため、利用時の精度のみの評価では十分な品質評価ができているとは言えない。
また、データセットを任意に作成できる分野では、データ作成にかかるコストの観点から品質評価に使用するテストデータをなるべく少なくしたいという要求がある。レアケースをすべて評価しようとするとテストデータが膨大になってしまうため、テストデータ量の削減という観点でも有効な手法になるように検討した。
今回はAI-OCR を題材とし、文字の使用頻度がロングテイルな分布であること着目して、テスト設計手法を検討した。本発表では、検討した手法とその有効性について報告する。