執筆者：

中川 純貴 (㈱日立製作所)

AIモデルの品質要件の一つに，様々な外乱要素に耐え得る「頑健性」がある。弊社では手書き文字を含む帳票から必要な情報を読み取りデータ化する帳票認識ソフトウェアを開発しており，本ソフトウェアが搭載するAIモデルにも高い頑健性が要求されている。
頑健性の評価手法として、効果的なメタモルフィック関係を利用してテストケースを作成するメタモルフィックテストが有効であることが報告されている。しかし、本テストにおけるテスト十分性向上およびテスト十分性評価が大きな課題となっている。
そこで本報告では、メタモルフィックテストのテスト十分性向上施策として、ニューロンカバレッジ技法を用いたAIモデルの特性分析を提案する。ニューロンカバレッジ技法とは、ニューラルネットワーク内のニューロン活性化を基準としたテストケース評価技術およびカバレッジ率を上昇させるテストケース生成技術である。弊社で開発したニューロンカバレッジツールを使用し、帳票認識ソフトウェアが搭載するAIモデルのカバレッジ率が外乱によるデータ変化に対してどのような遷移を示すか分析した(AIモデルの特性分析)。そして分析結果をもとに、メタモルフィックテストのテスト十分性向上に寄与する効果的なテストケース範囲を明確にした。
また今後検討を重ねる必要があるが、カバレッジ率を品質指標とすることでテストケースの量的/質的基準を策定でき、テスト十分性評価に繋がると考えている。