tokens per second

Categoria: avaliação e qualidade

Taxa de geração de tokens do modelo, medindo quantos tokens de saída são produzidos por segundo. Afeta diretamente a latência percebida pelo usuário e o custo computacional de cada interação.