<< TOPへ
Testing the Effect of Code Documentation on Large Language Model Code Understanding
・コードの中にコメントがあった場合、LLMがそのコードをどの程度理解するのかを確認した研究。2024年。
・LLMの理解度を計るために、テストを書き出させるという観点が面白いけど、完全にそれで理解能力を判断できるもんじゃないよなぁ。参考値程度かな。
・basefile（コメントやが一切ない、関数の実装コード）から、random comments（別の関数のドキュメンテーションをランダムに付けたもの）など、LLMへのインプットパターンを変えているのだけど、普通考えないよなぁと思いながら評価を作る技術の大切さを感じてる
・ちなみにpythonはunittestとpytestというライブラリが有名みたい。そろそろちゃんとテストを書こうかな。Testing the Effect of Code Documentation on Large Language Model Code Understanding
・コードの中にコメントがあった場合、LLMがそのコードをどの程度理解するのかを確認した研究。2024年。
・LLMの理解度を計るために、テストを書き出させるという観点が面白いけど、完全にそれで理解能力を判断できるもんじゃないよなぁ。参考値程度かな。
・basefile（コメントやが一切ない、関数の実装コード）から、random comments（別の関数のドキュメンテーションをランダムに付けたもの）など、LLMへのインプットパターンを変えているのだけど、普通考えないよなぁと思いながら評価を作る技術の大切さを感じてる
・ちなみにpythonはunittestとpytestというライブラリが有名みたい。そろそろちゃんとテストを書こうかな。
---
```mermaid
graph LR
A[Introduction] --> B(Large Language Models （LLMs）のコード生成・理解の能力)
A --> C(コードやドキュメンテーションの特性がLLMの能力に与える影響)
B --> D[最近のLLMは機械翻訳や文章生成などのタスクで高い性能を示している]
C --> E[コードやドキュメンテーションの特性がLLMのコード理解・生成能力に与える影響を実証的に分析する]
C --> F[誤ったドキュメンテーションはLLMのコード理解を大きく阻害するが、不完全・欠落したドキュメンテーションは有意な影響を与えない]
A2[Related Works] --> B2(コード分析の従来手法)
A2 --> C2(LLMを用いたコード分析)
B2 --> D2[コンパイラや構文木パーサーが一般的に使用されてきた]
B2 --> E2[これらの手法は自然言語処理能力を持たず、セマンティックな理解やドキュメンテーションの考慮ができない]
C2 --> F2[コード理解タスクに特化したLLMの開発]
C2 --> G2[既存モデルのコード分析能力の実証的分析]
G2 --> H2[本研究とは異なり、既存ツールの最適な活用方法は提示しない]
G2 --> I2[本研究はコード理解度を測る新たな方法を導入している]
A3[LLM Code Understanding] --> B3(理解の定義)
A3 --> C3(LLMのコード理解度の評価方法)
B3 --> D3[理解とは「原因の知識」であるとされるが、不完全な定義である]
B3 --> E3[真の理解には「原因と結果の関係性の説明的把握」が必要]
C3 --> F3[コードの入出力ペアの予測精度がコード理解度の有用な代替指標となる]
C3 --> G3[ドキュメンテーションはユーザーによる入出力ペアの予測を助ける]
C3 --> H3[単体テストフレームワークは入出力ペアの記述と自動検証の方法を提供する]
C3 --> I3[ドキュメンテーションの質・量を変化させながらLLMに単体テスト生成を課し、入出力ペアの予測精度を測定する]
A4[Experimental Setup] --> B4(LLMの単体テスト生成能力の実験手順)
A4 --> C4(HumanEvalデータセットの使用)
B4 --> D4[LLMが生成した単体テストをRuntime Error, Failure, Successの3つに分類]
B4 --> E4[HumanEvalのground truth solutionを単体テスト生成の基礎として使用]
B4 --> F4[LLMが生成したコードに後処理を行い、自動実行可能にする]
C4 --> G4[HumanEvalはLLMのベンチマークとして一般的に使用され、単体テストを実行しやすい関数が多数含まれているため選択]
C4 --> H4[各関数について自動的にバリエーションを生成 （Base File, Comments, Random Comments, Animal/Random Variable Names）]
C4 --> I4[ドキュメンテーションをランダムに部分的に削除した場合の影響も調査]
B4 --> J4[LLMが自明なテストを生成していないことを確認するため、生成された単体テストによるソースコードの実行割合も分析]
A5[Results] --> B5(GPT-3.5とGPT-4の単体テスト生成結果の比較)
A5 --> C5(ドキュメンテーションの影響)
A5 --> D5(コード内容の影響)
B5 --> E5[GPT-3.5はGPT-4よりもRuntime Errorが多い]
B5 --> F5[GPT-3.5はpytestを使わずassert文を生成することが多く、Runtime Errorの原因となった]
C5 --> G5[Random Commentsのシナリオが最も成功率が低く、誤ったドキュメンテーションがLLMのコード理解を損なうことを確認]
C5 --> H5[コメントの有無はLLMのコード理解力に有意な影響を与えない]
C5 --> I5[部分的なコメントがLLMのコード理解に与える影響は現時点で結論づけられない]
D5 --> J5[変数名の変更はベースファイルと比較してLLMのコード理解にあまり影響しない]
A5 --> K5(コード網羅率の分析)
K5 --> L5[Random Commentsは他の手法よりコード網羅率が有意に低い]
K5 --> M5[コメント付きのコードは他の手法より有意に高いコード網羅率を生成]
K5 --> N5[変数名の変更はコード網羅率に有意な影響を与えない]
K5 --> O5[部分的なドキュメンテーションはコード網羅率に有意な影響を与えない]
A6[Conclusions and Discussion] --> B6(ドキュメンテーションの量はLLMのコード理解に有意な影響を与えない)
A6 --> C6(誤ったコメントはLLMのコード理解に有意な影響を与える)
A6 --> D6(OpenAIモデルの学習データにコメントが少ない可能性)
B6 --> E6[成功した単体テストの割合に有意差はないが、コード網羅率には有意差がある]
B6 --> F6[LLMはコメント付きのコードの実行パスをより理解しているが、単体テストの作成を難しくしている可能性]
C6 --> G6[正しいコメントは単体テスト作成に関連する情報をあまり追加しないが、誤ったコメントはLLMを混乱させる可能性]
D6 --> H6[モデルのコメント活用能力は学習データ内のドキュメンテーションの量に依存する可能性]
A7[Limitations] --> B7(本研究の限界)
A7 --> C7(将来の研究課題)
B7 --> D7[プログラミング言語、モデル、プロンプト手法、入力ドキュメンテーションの変更など、より広範な比較研究が不足]
B7 --> E7[HumanEvalデータセットがモデルの学習データに含まれている可能性]
C7 --> F7[ClassEvalなどのより複雑なコードとドキュメンテーションを用いた包括的なテストの実施]
C7 --> G7[コードの複雑度指標を用いてコード理解度を評価し、成功指標を適切に分離・決定]
C7 --> H7[コード要約タスクを用いた同様の研究の実施]
```