LLM（大規模言語モデル）のトークンとは、モデルがテキストを処理する際の最小単位です。英語では単語や記号が1トークンです。日本語では形態素解析など（それぞれのLLMにより解析手法が異なります）で分割される単位になります。トークン化することで、モデルがテキストを理解しやすくなります。トークン数は計算コストに影響します。処理トークン数が多いほど、計算コストが上がります。
