AIによる設計レビュー自動化への取り組み事例紹介
ソフトウェア品質シンポジウム2021(2021年)
我々のチームでは、これまで人手に頼っていたドキュメントレビューの自動化に取り組んだ。
取り組みの当初は、予め定義したチェックルールに従って設計ドキュメント記載中のキーワードを判定する仕組み(キーワード判定方式)を採用し試行を重ねた。
しかしチェックルールに従ってドキュメント記載のキーワードを判定する仕組みでは、文脈を理解した判定ではないため誤指摘が多く発生する問題を克服することが出来なかった。
文脈も踏まえたドキュメントチェックをするために、AIアルゴリズムのBERT (Bidirectional Encoder Representations from Transformers)を採用することとした。BERTアルゴリズムで高い解析精度を得るために、従来のキーワード判定方式で指摘した結果を社内ベテラン技術者にて精査しAIへの教師データとした。
ドキュメントチェックの誤指摘率は、キーワード判定方式時は約90%であったが、BERTアルゴリズム採用時は 5%まで削減することができた。
本発表では、設計レビューでのAI活用ポイントと隘路事項について紹介する。
取り組みの当初は、予め定義したチェックルールに従って設計ドキュメント記載中のキーワードを判定する仕組み(キーワード判定方式)を採用し試行を重ねた。
しかしチェックルールに従ってドキュメント記載のキーワードを判定する仕組みでは、文脈を理解した判定ではないため誤指摘が多く発生する問題を克服することが出来なかった。
文脈も踏まえたドキュメントチェックをするために、AIアルゴリズムのBERT (Bidirectional Encoder Representations from Transformers)を採用することとした。BERTアルゴリズムで高い解析精度を得るために、従来のキーワード判定方式で指摘した結果を社内ベテラン技術者にて精査しAIへの教師データとした。
ドキュメントチェックの誤指摘率は、キーワード判定方式時は約90%であったが、BERTアルゴリズム採用時は 5%まで削減することができた。
本発表では、設計レビューでのAI活用ポイントと隘路事項について紹介する。