Q.なぜトークンの上限が設定されているのですか？

LLMにおける質問の分析や回答の生成にはGPUによる計算が必要で計算によりコストが発生します。そのコストの算出の基準がトークンです。
AIアシスタントではサードパーティーのLLMを利用しています。プラン料金にはLLMの利用料金が含まれており、LLMの利用料金がプラン料金以上とならないようにするためトークンに上限値を設定しています。