同一プロンプトの繰り返し実行時に、前回の応答をキャッシュから返すことで、不要なAPI呼び出しを削減し、レイテンシを改善する仕組みが必要。開発ワークフロー中の重複クエリに対応し、API使用コスト削減と応答性向上を実現する。
まだコメントはありません