TRL documentation

Callbacks

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Callbacks

RichProgressCallback

classe trl.RichProgressCallback

< >

( )

Um TrainerCallback que exibe o progresso do treinamento ou da avaliação usando Rich.

LogCompletionsCallback

classe trl.LogCompletionsCallback

< >

( trainer: Trainergeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonefreq: int | None = None )

Parâmetros

  • trainer (Trainer) — Trainer ao qual o callback será anexado. O conjunto de dados de avaliação do trainer deve incluir uma coluna "prompt" contendo os prompts para gerar as conclusões.
  • generation_config (GenerationConfig, opcional) — A configuração de geração a ser usada para gerar complementos.
  • num_prompts (int, opcional) — O número de prompts para os quais gerar completions. Se não for fornecido, o valor padrão é o número de exemplos no conjunto de dados de avaliação.
  • freq (int, opcional) — A frequência com que os completamentos devem ser registrados. Se não for fornecida, o valor padrão é o eval_steps do trainer.

Uma TrainerCallback que registra as conclusões no Weights & Biases e/ou no Comet.

Uso:

>>> trainer = DPOTrainer(...)
>>> completions_callback = LogCompletionsCallback(trainer=trainer)
>>> trainer.add_callback(completions_callback)

BEMACallback

classe trl.BEMACallback

< >

( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu' )

Parâmetros

  • update_freq (int, opcional, padrão é 400) — Atualiza os pesos do BEMA a cada X passos. Denotado como {@html "ϕ \\phi ϕ"} in the paper.
  • ema_power (float, optional, defaults to 0.5) — Power for the EMA decay factor. Denoted {@html "κ \\kappa κ "} no artigo. Para desativar o EMA, defina este valor como 0.0.
  • bias_power (float, opcional, padrão é 0.2) — Potência para o fator de escala do BEMA. Denotado como {@html "η \\eta η"} no artigo. Um valor grande (por exemplo, 8.0) faz {@html "αt \\alpha_t αt​"} decair para 0, aproximando a correção de viés desativada; 0.0, por outro lado, fixa {@html "αt \\alpha_t αt​"} em 1 para cada etapa (correção máxima, sem decaimento). lag (int, opcional, padrão é 10) — Deslocamento inicial no agendamento de decaimento de peso que controla a suavidade nas etapas iniciais, atuando como uma idade inicial virtual para as atualizações. Denotado como {@html "ρ \\rho ρ "}η \\eta η"} in the paper. A large value (e.g. 8.0) makes {@html "αt \\alpha_t αt​"} decay to 0, approximating disabled bias-correction; 0.0 instead pins {@html "αt \\alpha_t αt​"} at 1 for every step (maximum, undecayed correction).
  • lag (int, optional, defaults to 10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ \\rho ρ"} no artigo.
  • update_after (int, opcional, padrão é 0) — Tempo de aquecimento antes de começar a atualizar os pesos do BEMA. Denotado como {@html "τ \\tau τ"} no artigo. multiplier (float, opcional, padrão é 1.0) — Valor inicial para o fator de decaimento do EMA. Denotado como {@html "γ \\gamma γ "}τ \\tau τ"} in the paper.
  • multiplier (float, optional, defaults to 1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ \\gamma γ"} no artigo.
  • min_ema_multiplier (float, opcional, padrão 0.0) — Valor mínimo para o fator de decaimento da EMA.
  • device (str, opcional, padrão "cpu") — Dispositivo a ser usado para os buffers BEMA, por exemplo, "cpu" ou "cuda". Observe que, na maioria dos casos, esse dispositivo DEVE SER DIFERENTE do dispositivo usado para o treinamento, a fim de evitar OOM.

Uma TrainerCallback que implementa BEMA (Bias-Corrected Exponential Moving Average) de Adam Block e Cyril Zhang. Código de https://github.com/abblock/bema sob licença MIT.

O BEMA calcula pesos do modelo que são escalados da seguinte forma: θt′=αt⋅(θt−θ0)+EMAt \theta_t' = \alpha_t \cdot (\theta_t - \theta_0) + \text{EMA}_t

onde θt \theta_t são os pesos atuais do modelo, θ0 \theta_0 é um instantâneo dos pesos do modelo no primeiro update_after passo, EMAt \text{EMA}_t é a média móvel exponencial dos pesos do modelo, eαt \alpha_t é um fator de escala que decai com o número de passos t t como αt=(ρ+γ⋅t)−η. \alpha_t = (\rho + \gamma \cdot t)^{-\eta}.

O EMA é calculado como: EMAt=(1−βt)⋅EMAt−1+βt⋅θt \text{EMA}_t = (1 - \beta_t) \cdot \text{EMA}_{t-1} + \beta_t \cdot \theta_t

onde βt \beta_t é um fator de decaimento que decai com o número de passos t t como βt=(ρ+γ⋅t)−κ. \beta_t = (\rho + \gamma \cdot t)^{-\kappa}.

Exemplo:

>>> from trl import BEMACallback

>>> trainer = Trainer(..., callbacks=[BEMACallback()])

WeaveCallback

classe trl.WeaveCallback

< >

( trainer: Trainerproject_name: str | None = Nonescorers: dict[str, callable] | None = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonenum_prompts: int | None = Nonedataset_name: str = 'eval_dataset'model_name: str | None = None )

Parâmetros

  • trainer (Trainer) — Trainer ao qual o callback será anexado. O conjunto de dados de avaliação do trainer deve incluir uma coluna "prompt" contendo os prompts para gerar as conclusões.
  • project_name (str, opcional) — Nome do projeto Weave onde os dados serão registrados. Se não for fornecido, tentará usar o cliente weave existente ou recorrerá ao nome do projeto da execução ativa do wandb. Lança um erro se nenhum desses estiver disponível.
  • scorers (dict[str, Callable], opcional) — Dicionário que mapeia nomes de classificadores para funções de classificação. Se None, opera no modo de rastreamento (apenas previsões). Se fornecido, opera no modo de avaliação (previsões + pontuações + resumo). As funções de classificação devem ter a assinatura: scorer(prompt: str, completion: str) -> float | int
  • generation_config (GenerationConfig, opcional) — Configuração de geração a ser usada para gerar complementos.
  • num_prompts (int, opcional) — O número de prompts para os quais gerar completions. Se não for fornecido, o valor padrão é o número de exemplos no conjunto de dados de avaliação.
  • dataset_name (str, opcional, padrão "eval_dataset") — Nome para os metadados do conjunto de dados no Weave.
  • model_name (str, opcional) — Nome para os metadados do modelo no Weave. Se não for fornecido, tenta extrair da configuração do modelo.

Um TrainerCallback que registra traces e avaliações no W&B Weave. O callback usa https://weave-docs.wandb.ai/guides/evaluation/evaluation_logger/ para registrar traces e avaliações em cada etapa de avaliação.

Suporta dois modos com base no parâmetro scorers:

  • Modo de Rastreamento (quando scorers=None): Registra as previsões para exploração e análise de dados
  • Modo de avaliação (quando pontuadores são fornecidos): Registra previsões com pontuação e métricas de resumo

Ambos os modos usam o EvaluationLogger do Weave para registro de dados estruturado e consistente.

O callback registra dados durante as fases de avaliação (on_evaluate) em vez de nos passos de treinamento, tornando-o mais eficiente e semanticamente correto. Ele trata adequadamente a ausência da instalação do weave, registrando avisos e ignorando a funcionalidade específica do weave. Ele também verifica a existência de clientes weave antes de inicializar novos.

Uso:

# Tracing mode (just log predictions)
trainer = DPOTrainer(...)
weave_callback = WeaveTraceCallback(trainer=trainer)  # project_name optional
trainer.add_callback(weave_callback)

# Or specify a project name
weave_callback = WeaveTraceCallback(trainer=trainer, project_name="my-llm-training")
trainer.add_callback(weave_callback)


# Evaluation mode (log predictions + scores + summary)
def accuracy_scorer(prompt: str, completion: str) -> float:
    # Your scoring logic here (metadata available via eval_attributes)
    return score


weave_callback = WeaveTraceCallback(
    trainer=trainer,
    project_name="my-llm-training",  # optional and needed only if weave client is not initialized
    scorers={"accuracy": accuracy_scorer},
)
trainer.add_callback(weave_callback)

on_train_begin

< >

( argsstatecontrol**kwargs )

Inicialize o Weave quando o treinamento começar.

Update on GitHub