tokenization

Processo de converter texto em uma sequência de tokens usando o tokenizer do modelo. A forma como o texto é tokenizado impacta o consumo de tokens, custos e o limite de contexto disponível.