AI Feedback Loop Optimizer Skill

プロンプト→出力→評価→改善のフィードバックループを自動化し、AI出力を反復的に最適化するスキルです。

概要

このスキルは、AIの出力品質を反復的に改善するフィードバックループを自動化します。初期出力を評価し、問題点を特定して改善されたプロンプトを生成、再度AIに問い合わせることを繰り返し、最高品質の出力に収束させます。

主な機能

• 反復的改善: 自動的に複数回のフィードバックループを実行
• 品質評価: 各出力を多角的に評価してスコアリング
• プロンプト最適化: 評価結果に基づいてプロンプトを改善
• 収束判定: 品質が十分高くなった時点で自動停止
• A/Bテスト: 複数のアプローチを並行試行
• 履歴追跡: 各イテレーションの改善履歴を記録
• ベスト出力選択: 全イテレーション中の最良の出力を選択
• パラメータ調整: temperature, top_p等の自動調整
• 改善戦略: 複数の改善戦略を適用
• 早期停止: 改善が頭打ちした時点で停止

フィードバックループの仕組み

基本サイクル

┌──────────────────────────────────────────┐
│  イテレーション N                         │
├──────────────────────────────────────────┤
│                                          │
│  1. プロンプト生成/改善                   │
│     ↓                                    │
│  2. AIに問い合わせ                        │
│     ↓                                    │
│  3. 出力を取得                            │
│     ↓                                    │
│  4. 品質評価（スコアリング）               │
│     ↓                                    │
│  5. 問題点の特定                          │
│     ↓                                    │
│  6. 改善戦略の決定                        │
│     ↓                                    │
│  7. 次のイテレーションへ                   │
│     または収束判定                        │
│                                          │
└──────────────────────────────────────────┘

イテレーション例

イテレーション 1: 初期プロンプト

プロンプト:
「Reactについて説明してください。」

AI出力:
「Reactは人気のあるJavaScriptライブラリです。」

評価スコア: 35/100
問題点:
- 情報が不足（完全性: 30/100）
- 具体性に欠ける（具体性: 25/100）
- 例がない（実用性: 20/100）

改善戦略:
- 具体的な特徴を要求
- 使用例を含めるよう指示
- 構造化を要求

イテレーション 2: 改善されたプロンプト

プロンプト:
「Reactについて、以下の観点で説明してください:
1. Reactとは何か（概要）
2. 主な特徴（3つ以上）
3. 簡単なコード例
4. 使用される場面」

AI出力:
「# Reactとは

Reactは、Facebookが開発したUIを構築するためのJavaScriptライブラリです。

## 主な特徴
1. コンポーネントベース: 再利用可能なUIパーツ
2. 仮想DOM: 効率的な描画
3. 一方向データフロー: 予測可能な状態管理

## コード例
```jsx
function Welcome() {
  return <h1>Hello, React!</h1>;
}

使用される場面

• SPAの構築
• モバイルアプリ（React Native）
• 複雑なUIの管理」

評価スコア: 72/100 問題点:

• 詳細が不足（完全性: 70/100）
• コード例が簡潔すぎる（実用性: 65/100）

改善戦略:

• より実践的な例を要求
• 各特徴の詳細説明を追加

#### イテレーション 3: さらに改善

プロンプト: 「Reactについて、以下の観点で詳細に説明してください:

1. Reactとは何か（歴史も含めて）
2. 主な特徴を詳細に（仮想DOM、コンポーネント、Hooks等）
3. 実践的なコード例（useState, useEffect使用）
4. メリット・デメリット
5. 適した使用場面と不適な場面」

AI出力: [詳細で包括的な説明]

評価スコア: 91/100 問題点:

• ほぼ完璧、わずかな改善の余地

収束判定: ✓ 目標スコア（90点）に到達 ベスト出力: イテレーション 3

## 評価基準

### 多角的スコアリング

```javascript
評価項目:
{
  正確性: 25点,      // 事実の正確さ
  完全性: 20点,      // 情報の網羅性
  明確性: 15点,      // 分かりやすさ
  具体性: 15点,      // 具体例の有無
  構造: 10点,        // 論理的な構成
  実用性: 10点,      // 実際に使える情報
  読みやすさ: 5点    // 文章の質
}

総合スコア: 0-100点

スコアリング例

AI出力の評価:

正確性: 23/25
- ✓ 事実誤認なし
- ✓ 引用が正確
- ✓ 技術的に正しい

完全性: 14/20
- ✓ 主要な情報を含む
- ✗ いくつかの重要な点が欠落
- ⚠️ エッジケースの説明なし

明確性: 13/15
- ✓ 分かりやすい表現
- ⚠️ 一部の専門用語に説明なし

具体性: 10/15
- ✓ コード例あり
- ✗ より実践的な例が必要

構造: 8/10
- ✓ 見出しで整理
- ⚠️ 深い階層化が不足

実用性: 7/10
- ⚠️ 実際のプロジェクトへの適用が不明確

読みやすさ: 4/5
- ✓ 流暢な文章

総合スコア: 79/100

改善戦略

戦略1: 詳細化

問題: 完全性スコアが低い（14/20）

改善アクション:
- プロンプトに「詳細に」「網羅的に」を追加
- 不足している項目を明示的に要求
- 例: 「エッジケースや制限事項も含めて説明」

戦略2: 構造化

問題: 構造スコアが低い（8/10）

改善アクション:
- 明確な見出し構造を要求
- 箇条書きの使用を指示
- 例: 「Markdownの見出し（#, ##, ###）を使用して構造化」

戦略3: 具体化

問題: 具体性スコアが低い（10/15）

改善アクション:
- より実践的な例を要求
- ユースケースの明示を指示
- 例: 「実際のプロジェクトで使用できるコード例を含めて」

戦略4: 簡潔化

問題: 冗長で読みにくい

改善アクション:
- 簡潔な説明を要求
- 重要なポイントのみに絞る
- 例: 「3-5文で簡潔に要約」

戦略5: Few-shot追加

問題: 期待する形式で出力されない

改善アクション:
- 望ましい出力例を追加
- 例: 「以下の形式で出力してください: [例]」

収束判定

判定基準

収束条件（いずれかを満たす）:

1. 目標スコアに到達
   - 総合スコア >= 90/100

2. 改善が頭打ち
   - 3回連続でスコア改善が+2点未満

3. 最大イテレーション数
   - 10回のイテレーションを完了

4. スコアの低下
   - 前回より大幅にスコアが下がった（-5点以上）
   - → 前回の出力を採用

収束判定例

イテレーション履歴:
1: スコア 35/100
2: スコア 72/100 (+37) ← 大幅改善、継続
3: スコア 91/100 (+19) ← 大幅改善、継続
4: スコア 93/100 (+2)  ← 改善鈍化、継続
5: スコア 94/100 (+1)  ← 改善鈍化、継続
6: スコア 94/100 (±0)  ← 改善なし、収束判定

収束理由: 改善が頭打ち（3回連続で+2点未満）
ベスト出力: イテレーション 5-6（スコア 94/100）

A/Bテスト機能

複数アプローチの並行試行

初期プロンプト: 「Reactについて説明してください」

イテレーション 1:

アプローチA（詳細化）:
プロンプト: 「Reactについて、詳細に包括的に説明してください」
出力A: [詳細だが冗長]
スコア: 72/100

アプローチB（構造化）:
プロンプト: 「Reactについて、以下の項目で説明:
1. 概要
2. 特徴
3. 例
4. 使用場面」
出力B: [構造化されているが簡潔]
スコア: 78/100

選択: アプローチB（スコアが高い）

イテレーション 2:
アプローチBをベースにさらに改善...

パラメータ調整

自動パラメータ最適化

イテレーションごとにパラメータを調整:

イテレーション 1:
temperature: 0.7  # デフォルト
top_p: 0.9
→ 出力: やや曖昧
→ スコア: 68/100

イテレーション 2:
temperature: 0.3  # より決定論的に
top_p: 0.5
→ 出力: 明確で一貫性あり
→ スコア: 85/100

イテレーション 3:
temperature: 0.2  # さらに厳密に
top_p: 0.3
→ 出力: 非常に正確
→ スコア: 92/100

履歴追跡

改善履歴の記録

{
  "task": "Reactの説明",
  "startTime": "2024-11-22T10:00:00Z",
  "endTime": "2024-11-22T10:05:30Z",
  "totalIterations": 5,
  "finalScore": 94,
  "iterations": [
    {
      "iteration": 1,
      "prompt": "Reactについて説明してください。",
      "output": "Reactは人気のある...",
      "score": 35,
      "evaluation": {
        "accuracy": 8,
        "completeness": 6,
        "clarity": 7,
        ...
      },
      "issues": [
        "情報が不足",
        "具体例がない"
      ],
      "strategy": "詳細化"
    },
    {
      "iteration": 2,
      "prompt": "Reactについて、以下の観点で...",
      "output": "# Reactとは...",
      "score": 72,
      "improvement": 37,
      "evaluation": {...},
      "issues": ["コード例が簡潔すぎる"],
      "strategy": "具体化"
    },
    ...
  ],
  "bestIteration": 5,
  "bestScore": 94,
  "convergenceReason": "改善が頭打ち"
}

使用例

基本的な使い方

以下のタスクをフィードバックループで最適化してください：

タスク: 「TypeScriptの型システムを説明」
目標スコア: 90点
最大イテレーション: 5回

自動的に反復改善を実行し、ベストな出力を返してください。

詳細設定

フィードバックループ最適化を実行してください：

タスク: 「Dockerのベストプラクティスをまとめる」

設定:
- 目標スコア: 92点
- 最大イテレーション: 7回
- 早期停止: 改善が3回連続で+2点未満
- パラメータ調整: 自動
- A/Bテスト: 2つのアプローチを並行試行

評価重視項目:
- 実用性: 30%
- 完全性: 25%
- 具体性: 25%
- その他: 20%

出力:
- ベストな結果
- 改善履歴
- 各イテレーションのスコア推移

段階的改善の可視化

タスク: 「GraphQLの利点を説明」

各イテレーションの改善を可視化してください：

出力形式:
1. イテレーションごとのスコア推移グラフ（テキストベース）
2. 各イテレーションの主な改善点
3. 最終的なベスト出力
4. 改善プロセスのサマリー

カスタム評価基準

タスク: 「React vs Vueの比較」

カスタム評価基準:
- 公平性: 30点（どちらかに偏らない）
- 網羅性: 25点（重要な観点をカバー）
- 実用性: 20点（実際の選定に役立つ）
- 正確性: 15点（技術的に正しい）
- 構造: 10点（読みやすい構成）

目標スコア: 85点
最大イテレーション: 6回

高度な機能

マルチモーダル最適化

テキスト + コード + 図表の最適化:

タスク: 「REST APIの設計ガイド」

各イテレーションで改善:
- テキスト説明の明確性
- コード例の実用性
- 図表の分かりやすさ（ASCII artまたはMermaid）

総合評価でベストな組み合わせを選択

ドメイン特化最適化

技術ドキュメント向け:
- 評価基準: 正確性、完全性、例の質を重視
- 改善戦略: コード例の追加、APIリファレンスとの整合性

ブログ記事向け:
- 評価基準: 読みやすさ、関心度、SEOを重視
- 改善戦略: 見出しの最適化、キーワード配置

学術論文向け:
- 評価基準: 論理性、引用の正確性、形式を重視
- 改善戦略: 引用の追加、論理構造の強化

チーム評価統合

複数の評価者による並行評価:

イテレーションごとに:
1. 評価者A（正確性重視）: 82点
2. 評価者B（実用性重視）: 88点
3. 評価者C（読みやすさ重視）: 85点

平均スコア: 85点

評価者間の不一致が大きい場合:
→ 各評価者のフィードバックを統合して次のプロンプトを生成

ベストプラクティス

1. 明確な目標設定: 何を最適化するか明確に
2. 適切な評価基準: タスクに合った評価項目の選択
3. 早期停止の活用: 無駄なイテレーションを避ける
4. 履歴の記録: 改善プロセスを分析可能に
5. A/Bテストの活用: 複数アプローチを試行
6. パラメータ調整: temperature等を動的に調整
7. 収束判定の妥当性: 目標スコアを現実的に設定

制限事項

• コストの増加: 複数回のAPI呼び出しが必要
• 時間の増加: イテレーションに時間がかかる
• 収束の保証なし: 必ずしも改善するとは限らない
• 評価の主観性: 自動評価の精度には限界あり

バージョン情報

• スキルバージョン: 1.0.0
• 最終更新: 2025-11-22

---

使用例まとめ

シンプルな最適化

タスク: 「Pythonの基礎を説明」
目標スコア: 85点

フィードバックループで最適化してください。

詳細設定での最適化

タスク: [複雑なタスク]
設定: [詳細な設定]
カスタム評価: [評価基準]

反復改善を実行し、ベスト出力と改善履歴を提供してください。

このスキルで、AI出力を反復的に改善し、最高品質の結果を得ましょう！