AI実践研修 夜間コース（AIシステムの品質・運用編）

ローカル開発環境を構築し、リポジトリのセットアップ、LLM APIへの接続確認、ベクトルDBの起動まで行います。つまずいた方にはTAが個別にフォローします。

配布するエージェントのRAG部分とツール呼び出し部分を読み解きます。同じ入力を繰り返して出力の揺れを観察し、「動いた」と「使える」の差を確認します。

なぜ評価が必要かを、非決定的な出力をどう検品するかという観点から扱います。正解の定義、ケースの集め方、必要な件数を含めて評価データセットを作ります。

完全一致・部分一致・検索精度といった自動評価を実装します。指標の選び方とその限界も扱います。

評価をLLMにやらせる方法と、その信頼性を扱います。出たスコアをどう読み、改善へどう繋げるかまで扱います。

プロンプトを直すと別のところが壊れる問題を扱い、回帰テストを組みます。どこまでを自動化し、どこから人が見るかも整理します。

回帰テストをCIへ組み込みます。劣化版プロンプトを投入し、回帰テストで検出できることを確かめます。

OWASP Top 10 for LLM Applications の要点と、プロンプトインジェクションの成立条件を扱います。ご自身のローカル環境内でのみ、実際に攻撃を通してみます。外部システムに対する試行は一切行いません。

入力と出力のガードレールを実装します。ツール呼び出しに対する制限と承認フローも扱います。

機密情報の検出とマスキング、誰が何を参照できるかという権限制御を実装します。再度攻撃を通し、防げることを確認します。

何を残せば後から調査できるかという観点でログを設計します。トレースとリクエストの追跡も扱います。

コスト監視とアラート、精度劣化の検知を扱います。評価スコア・対策した脆弱性・監視項目をまとめた品質レポートを作成します。

品質レポートを発表します。何を計測し、何を防ぎ、何を監視できるようにしたかを説明し、講師のフィードバックを受けます。火曜枠と木曜枠の合流開催です。