3.2 LLM会話履歴サービス

問題の理解

会話履歴サービスとは？ LLM（大規模言語モデル）はステートレス（状態を持たない）なAPIとして提供されることがほとんどです。つまり、モデル自体は過去のやり取りを記憶していません。ユーザーとAIが自然なチャットを行うためには、システム側で過去の会話履歴を保持し、新しい入力のたびに過去の履歴を含めてAPIに送信する必要があります。

しかし、LLMには コンテキストウィンドウ（Context Window） と呼ばれる一度に処理できるトークン数（単語の断片のようなもの）の上限があります。会話が長くなりすぎると上限を超えてエラーになるため、適切に履歴をトリミング（刈り込み）する仕組みが不可欠です。この問題は、FDEが日常的に直面する最も実践的な課題の一つです。