# Утилиты для токенизаторов

На этой странице перечислены все вспомогательные функции, используемые токенизаторами, в основном класс [PreTrainedTokenizerBase](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase), который реализует общие методы для [PreTrainedTokenizer](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.PythonBackend) и [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.TokenizersBackend).

Большинство из них полезны только в том случае, если вы изучаете код токенизаторов в библиотеке.

## PreTrainedTokenizerBase[[transformers.PreTrainedTokenizerBase]]

#### transformers.PreTrainedTokenizerBase[[transformers.PreTrainedTokenizerBase]]

```python
transformers.PreTrainedTokenizerBase(**kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L967)

**Параметры:**

model_max_length (`int`, *optional*) : The maximum length (in number of tokens) for the inputs to the transformer model. When the tokenizer is loaded with [from_pretrained()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.from_pretrained), this will be set to the value stored for the associated model in `max_model_input_sizes` (see above). If no value is provided, will default to VERY_LARGE_INTEGER (`int(1e30)`).

padding_side (`str`, *необязательный*) : Сторона, на которой модель должна применять выравнивание. Значение выбирается из ['right', 'left']. Значение по умолчанию берётся из атрибута класса с тем же именем.

truncation_side (`str`, *необязательный*) : Сторона, на которой модель должна применять усечение. Значение выбирается из ['right', 'left']. Значение по умолчанию берётся из атрибута класса с тем же именем.

chat_template (`str`, *необязательный*) : строка шаблона Jinja, которая будет использоваться для форматирования списков сообщений чата. Полное описание см. по адресу https://huggingface.co/docs/transformers/chat_templating.

model_input_names (`list[string]`, *необязательный*) : Список входных данных, принимаемых прямой передачей модели (например, `"token_type_ids"` или `"attention_mask"`). Значение по умолчанию берётся из атрибута класса с тем же именем.

bos_token (`str` или `tokenizers.AddedToken`, *необязательный*) : Специальный токен, обозначающий начало предложения.

eos_token (`str` или `tokenizers.AddedToken`, *необязательный*) : Специальный токен, обозначающий конец предложения.

unk_token (`str` или `tokenizers.AddedToken`, *необязательный*) : Специальный токен, представляющий токен вне словаря.

sep_token (`str` или `tokenizers.AddedToken`, *необязательный*) : Специальный токен, разделяющий два разных предложения в одном вводе (используется, например, в BERT).

pad_token (`str` или `tokenizers.AddedToken`, *необязательный*) : Специальный токен, используемый для приведения массивов токенов к одинаковому размеру в целях батчинга. В дальнейшем он игнорируется механизмами внимания или при вычислении функции потерь.

cls_token (`str` или `tokenizers.AddedToken`, *необязательный*) : Специальный токен, представляющий класс входных данных (используется, например, в BERT).

mask_token (`str` или `tokenizers.AddedToken`, *необязательный*) : специальный токен, представляющий замаскированный токен (используется в задачах предобучения с маскированием, например, в BERT). Будет связан с `self.mask_token` и `self.mask_token_id`.

extra_special_tokens (список `str` или `tokenizers.AddedToken`, *необязательный*) : Список дополнительных специальных токенов, специфичных для модели. Добавьте их сюда, чтобы они пропускались при декодировании, если `skip_special_tokens` установлен в True. Если они не входят в словарь, они будут добавлены в конец словаря.

split_special_tokens (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли разделять специальные токены в процессе токенизации. Передача этого аргумента влияет на внутреннее состояние токенизатора. По умолчанию специальные токены не разделяются. Это означает, что если `<s>` является `bos_token`, то `tokenizer.tokenize("<s>") = ['<s>`]. В противном случае, если `split_special_tokens=True`, то `tokenizer.tokenize("<s>")` вернёт `['<','s', '>']`.

Базовый класс для всех бэкендов токенизаторов.

Атрибуты класса (переопределяются производными классами)

- **vocab_files_names** (`dict[str, str]`) — словарь, в котором ключами являются имена аргументов `__init__` для каждого файла словаря, необходимого модели, а значениями — имена файлов для сохранения соответствующих файлов (строки).
- **pretrained_vocab_files_map** (`dict[str, dict[str, str]]`) -- Словарь словарей, где ключи верхнего уровня — это имена аргументов `__init__` для каждого файла словаря, необходимого модели, а ключи нижнего уровня — `short-cut-names` предобученных моделей, а соответствующие значения — `url` на соответствующий файл предобученного словаря.
- **model_input_names** (`list[str]`) — список входных данных, ожидаемых в прямом проходе модели.
- **padding_side** (`str`) — значение по умолчанию для стороны, на которой модель должна применять заполнение. Должно быть `'right'` или `'left'`.
- **truncation_side** (`str`) — значение по умолчанию для стороны, на которой модель должна применять усечение. Должно быть `'right'` или `'left'`.

#### __call__[[transformers.PreTrainedTokenizerBase.__call__]]

```python
__call__(text: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, add_special_tokens: bool = True, padding: bool | str | PaddingStrategy = False, truncation: bool | str | TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, is_split_into_words: bool = False, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | TensorType | None = None, return_token_type_ids: bool | None = None, return_attention_mask: bool | None = None, return_overflowing_tokens: bool = False, return_special_tokens_mask: bool = False, return_offsets_mapping: bool = False, return_length: bool = False, verbose: bool = True, tokenizer_kwargs: dict[str, Any] | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2448)

**Параметры:**

text (`str`, `list[str]`, `list[list[str]]`, *необязательный*) : Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности заданы в виде списка строк (предтокенизированных), необходимо установить `is_split_into_words=True` (чтобы устранить неоднозначность с батчем последовательностей).

text_pair (`str`, `list[str]`, `list[list[str]]`, *необязательный*) : Последовательность или батч последовательностей для кодирования. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности заданы в виде списка строк (предтокенизированных), необходимо установить `is_split_into_words=True` (чтобы устранить неоднозначность с батчем последовательностей).

text_target (`str`, `list[str]`, `list[list[str]]`, *необязательный*) : Последовательность или батч последовательностей, которые нужно закодировать в качестве целевых текстов. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности заданы в виде списка строк (предтокенизированных), необходимо установить `is_split_into_words=True` (чтобы устранить неоднозначность с батчем последовательностей).

text_pair_target (`str`, `list[str]`, `list[list[str]]`, *необязательный*) : Последовательность или батч последовательностей, которые нужно закодировать в качестве целевых текстов. Каждая последовательность может быть строкой или списком строк (предтокенизированная строка). Если последовательности заданы в виде списка строк (предтокенизированных), необходимо установить `is_split_into_words=True` (чтобы устранить неоднозначность с батчем последовательностей).

tokenizer_kwargs (`dict[str, Any]`, *необязательный*) : Дополнительные kwargs для передачи в токенизатор. Они будут объединены с явными параметрами и другими kwargs, при этом явные параметры имеют приоритет.

add_special_tokens (`bool`, *необязательный*, по умолчанию `True`) : Указывает, следует ли добавлять специальные токены при кодировании последовательностей. Для этого используется базовая функция `PretrainedTokenizerBase.build_inputs_with_special_tokens`, которая определяет, какие токены автоматически добавляются к входным идентификаторам. Это полезно, если вы хотите автоматически добавлять токены `bos` или `eos`.

padding (`bool`, `str` или [PaddingStrategy](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.utils.PaddingStrategy), *необязательный*, по умолчанию `False`) : Включает и управляет выравниванием. Принимает следующие значения:  - `True` или `'longest'`: Выравнивание до самой длинной последовательности в батче (или без выравнивания, если предоставлена только одна последовательность). - `'max_length'`: Выравнивание до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. - `False` или `'do_not_pad'` (по умолчанию): Без выравнивания (т. е. на выходе может быть батч с последовательностями разной длины).

truncation (`bool`, `str` или [TruncationStrategy](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *необязательный*, по умолчанию `False`) : Включает и управляет усечением. Принимает следующие значения:  - `True` или `'longest_first'`: Усечение до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. Усечение выполняется посимвольно: если предоставлена пара последовательностей (или пакет пар), то символ удаляется из самой длинной последовательности в паре. - `'only_first'`: Усечение до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. Если предоставлена пара последовательностей (или пакет пар), усечение выполняется только для первой последовательности в паре. - `'only_second'`: Усечение до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. Если предоставлена пара последовательностей (или пакет пар), усечение выполняется только для второй последовательности в паре. - `False` или `'do_not_truncate'` (по умолчанию): Усечение не выполняется (т. е. на выходе может быть пакет с длинами последовательностей, превышающими максимально допустимый размер входных данных модели).

max_length (`int`, *optional*) : Управляет максимальной длиной, используемой одним из параметров усечения/дополнения. Если значение не задано или равно `None`, будет использована предопределённая максимальная длина модели, если один из параметров усечения/дополнения требует указания максимальной длины. Если у модели нет конкретной максимальной длины входных данных (как у XLNet), усечение/дополнение до максимальной длины будет отключено.

stride (`int`, *optional*, по умолчанию 0) : Если задано число вместе с `max_length`, то переполненные токены, возвращаемые при `return_overflowing_tokens=True`, будут содержать некоторые токены из конца усечённой последовательности, чтобы обеспечить перекрытие между усечённой и переполненной последовательностями. Значение этого аргумента определяет количество перекрывающихся токенов.

is_split_into_words (`bool`, *необязательный*, по умолчанию `False`) : Указывает, является ли вход уже предтокенизированным (например, разбитым на слова). Если установлено в `True`, токенизатор предполагает, что вход уже разбит на слова (например, по пробелам), и токенизирует их. Это полезно для NER или классификации токенов.

pad_to_multiple_of (`int`, *optional*) : Если задано, последовательность будет дополнена до кратного указанного значения. Требуется, чтобы `padding` был активирован. Это особенно полезно для использования Tensor Cores на аппаратных средствах NVIDIA с вычислительной способностью `>= 7.5` (Volta).

padding_side (`str`, *необязательный*) : Сторона, на которой модель должна применять выравнивание. Значение выбирается из ['right', 'left']. Значение по умолчанию берётся из атрибута класса с тем же именем.

return_tensors (`str` или [TensorType](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры вместо списка целых чисел Python. Допустимые значения:  - `'pt'`: Возвращает объекты `torch.Tensor` PyTorch. - `'np'`: Возвращает объекты `np.ndarray` Numpy.

return_token_type_ids (`bool`, *необязательный*) : Указывает, следует ли возвращать идентификаторы типов токенов. Если значение не задано, идентификаторы типов токенов будут возвращены в соответствии со значением по умолчанию конкретного токенизатора, определяемым атрибутом `return_outputs`.  [Что такое идентификаторы типов токенов?](../glossary#token-type-ids)

return_attention_mask (`bool`, *необязательный*) : Указывает, следует ли возвращать маску внимания. Если значение не задано, маска внимания будет возвращена в соответствии со значением по умолчанию конкретного токенизатора, определяемым атрибутом `return_outputs`.  [Что такое маски внимания?](../glossary#attention-mask)

return_overflowing_tokens (`bool`, *необязательный*, по умолчанию `False`) : Возвращать ли переполненные последовательности токенов. Если передана пара последовательностей входных идентификаторов (или батч пар) с `truncation_strategy = longest_first` или `True`, вместо возврата переполненных токенов будет выброшена ошибка.

return_special_tokens_mask (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли возвращать информацию о маске специальных токенов.

return_offsets_mapping (`bool`, *необязательный*, по умолчанию `False`) : Возвращать или нет `(char_start, char_end)` для каждого токена. Это доступно только для быстрых токенизаторов, наследующихся от [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.TokenizersBackend); при использовании токенизатора на Python этот метод вызовет `NotImplementedError`.

return_length  (`bool`, *необязательный*, по умолчанию `False`) : Возвращать ли длины закодированных входных данных.

verbose (`bool`, *необязательный*, по умолчанию `True`) : Выводить ли дополнительную информацию и предупреждения.

- ****kwargs** : передаются в метод `self.tokenize()`

**Возвращает:** [BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding)

[BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding) со следующими полями:

- **input_ids** -- Список идентификаторов токенов, которые подаются в модель.

  [Что такое входные идентификаторы?](../glossary#input-ids)

- **token_type_ids** -- Список идентификаторов типов токенов, передаваемых в модель (если `return_token_type_ids=True` или если *"token_type_ids"* входит в `self.model_input_names`).

  [Что такое идентификаторы типов токенов?](../glossary#token-type-ids)

- **attention_mask** -- список индексов, указывающих, на какие токены модель должна обращать внимание (когда `return_attention_mask=True` или если *"attention_mask"* входит в `self.model_input_names`).

  [Что такое маски внимания?](../glossary#attention-mask)

- **overflowing_tokens** -- Список переполненных последовательностей токенов (если заданы `max_length` и `return_overflowing_tokens=True`).
- **num_truncated_tokens** -- Количество отсечённых токенов (если задано `max_length` и `return_overflowing_tokens=True`).
- **special_tokens_mask** -- Список нулей и единиц, где 1 указывает на добавленные специальные токены, а 0 — на обычные токены последовательности (при `add_special_tokens=True` и `return_special_tokens_mask=True`).
- **length** -- Длина входных данных (когда `return_length=True`)

Основной метод для токенизации и подготовки одной или нескольких последовательностей или одной или нескольких пар последовательностей для модели.

#### add_special_tokens[[transformers.PreTrainedTokenizerBase.add_special_tokens]]

```python
add_special_tokens(special_tokens_dict: dict[str, str | AddedToken | Sequence[str | AddedToken]], replace_extra_special_tokens = True)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1112)

**Параметры:**

special_tokens_dict (словарь *str* в *str*, `tokenizers.AddedToken` или `Sequence[Union[str, AddedToken]]`) : Ключи должны входить в список предопределённых специальных атрибутов: [`bos_token`, `eos_token`, `unk_token`, `sep_token`, `pad_token`, `cls_token`, `mask_token`, `extra_special_tokens`]. Токены добавляются только в том случае, если их ещё нет в словаре (проверяется по тому, назначает ли токенизатор им индекс `unk_token`).

replace_extra_special_tokens (`bool`, *необязательный*, по умолчанию `True`) : Если `True`, существующий список дополнительных специальных токенов будет заменён списком, переданным в `special_tokens_dict`. В противном случае `extra_special_tokens` будет дополнен. В первом случае токены НЕ будут удалены из полного словаря токенизатора — они лишь будут помечены как неспециальные. Помните, что это влияет только на то, какие токены пропускаются при декодировании, а не на `added_tokens_encoder` и `added_tokens_decoder`. Это означает, что предыдущие `extra_special_tokens` остаются добавленными токенами и не будут разбиваться моделью.

**Возвращает:** `int`

Количество токенов, добавленных в словарь.

Добавляет словарь специальных токенов (eos, pad, cls и т. д.) в энкодер и связывает их с атрибутами класса. Если специальные токены отсутствуют в словаре, они добавляются в него (индексация начинается с последнего индекса текущего словаря).

При добавлении новых токенов в словарь необходимо также изменить размер матрицы эмбеддингов токенов модели, чтобы её матрица эмбеддингов соответствовала токенизатору.

Для этого используйте метод [resize_token_embeddings()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.resize_token_embeddings).

Использование `add_special_tokens` гарантирует, что ваши специальные токены можно использовать несколькими способами:

- Специальные токены можно пропустить при декодировании, используя `skip_special_tokens = True`.
- Специальные токены тщательно обрабатываются токенизатором (они никогда не разбиваются), аналогично `AddedTokens`.
- Вы можете легко обращаться к специальным токенам с помощью атрибутов класса токенизатора, например `tokenizer.cls_token`. Это упрощает разработку скриптов обучения и дообучения, не привязанных к конкретной модели.

По возможности, специальные токены уже зарегистрированы для предоставленных предобученных моделей (например, [BertTokenizer](/docs/transformers/v5.23.0/ru/model_doc/lxmert#transformers.BertTokenizer) `cls_token` уже зарегистрирован как `'[CLS]'`, а для XLM он также зарегистрирован как `'</s>'`).

Примеры:

```python
# Let's see how to add a new classification token to GPT-2
tokenizer = GPT2Tokenizer.from_pretrained("openai-community/gpt2")
model = GPT2Model.from_pretrained("openai-community/gpt2")

special_tokens_dict = {"cls_token": "<CLS>"}

num_added_toks = tokenizer.add_special_tokens(special_tokens_dict)
print("We have added", num_added_toks, "tokens")
# Notice: resize_token_embeddings expect to receive the full size of the new vocabulary, i.e., the length of the tokenizer.
model.resize_token_embeddings(len(tokenizer))

assert tokenizer.cls_token == "<CLS>"
```

#### add_tokens[[transformers.PreTrainedTokenizerBase.add_tokens]]

```python
add_tokens(new_tokens: str | AddedToken | Sequence[str | AddedToken], special_tokens: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1217)

**Параметры:**

new_tokens (`str`, `tokenizers.AddedToken` или последовательность *str* или `tokenizers.AddedToken`) : Токены добавляются только в том случае, если они ещё отсутствуют в словаре. `tokenizers.AddedToken` инкапсулирует строковый токен, позволяя настраивать его поведение: должен ли токен соответствовать только одному слову, следует ли удалять все возможные пробельные символы слева, следует ли удалять все возможные пробельные символы справа и т. д.

special_tokens (`bool`, *необязательный*, по умолчанию `False`) : Указывает, является ли токен специальным. Это в основном влияет на поведение нормализации. Подробности о `tokenizers.AddedToken` см. в библиотеке HuggingFace tokenizers.

**Возвращает:** `int`

Количество токенов, добавленных в словарь.

#TODO удалить это отсюда! PreTrainedTokenizerBase не должен зависеть от AddedToken.

Добавьте список новых токенов. Если новые токены отсутствуют в словаре, они добавляются в его конец. Таким образом, добавленные токены и токены из словаря алгоритма токенизации обрабатываются по-разному.

Быстрые токенизаторы с претокенизатором `Metaspace`, использующим `prepend_scheme="always"` (например, NLLB), добавляют `"▁"` к тексту, следующему за добавленным токеном. После `tokenizer.add_tokens(["abcd"])` строка `"abcdgym"` токенизируется как `["abcd", "▁gym"]` и декодируется в `"abcd gym"`. Если добавленные токены могут появляться внутри слов, переключите претокенизатор

в `prepend_scheme="first"`, чтобы префикс добавлялся только к началу входных данных:

```python
from tokenizers import pre_tokenizers

pre_tokenizer = tokenizer.backend_tokenizer.pre_tokenizer
tokenizer.backend_tokenizer.pre_tokenizer = pre_tokenizers.Metaspace(
    replacement=pre_tokenizer.replacement, prepend_scheme="first", split=pre_tokenizer.split
)
```

Примеры:

```python
# Let's see how to increase the vocabulary of Bert model and tokenizer
tokenizer = BertTokenizerFast.from_pretrained("google-bert/bert-base-uncased")
model = BertModel.from_pretrained("google-bert/bert-base-uncased")

num_added_toks = tokenizer.add_tokens(["new_tok1", "my_new-tok2"])
print("We have added", num_added_toks, "tokens")
# Notice: resize_token_embeddings expect to receive the full size of the new vocabulary, i.e., the length of the tokenizer.
model.resize_token_embeddings(len(tokenizer))
```

#### apply_chat_template[[transformers.PreTrainedTokenizerBase.apply_chat_template]]

```python
apply_chat_template(conversation: list[dict[str, str]] | list[list[dict[str, str]]], tools: list[dict | Callable] | None = None, documents: list[dict[str, str]] | None = None, chat_template: str | None = None, add_generation_prompt: bool = False, continue_final_message: bool | str = False, tokenize: bool = True, sanitize_control_tokens: bool = False, padding: bool | str | PaddingStrategy = False, truncation: bool = False, max_length: int | None = None, return_tensors: str | TensorType | None = None, return_dict: bool = True, return_assistant_tokens_mask: bool = False, tokenizer_kwargs: dict[str, Any] | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L3020)

**Параметры:**

conversation (Union[list[dict[str, str]], list[list[dict[str, str]]]]) : список словарей с ключами "role" и "content", представляющий историю чата на данный момент.

tools (`list[Union[Dict, Callable]]`, *необязательный*) : Список инструментов (вызываемых функций), доступных модели. Если шаблон не поддерживает вызов функций, этот аргумент не будет иметь эффекта. Каждый инструмент должен передаваться в виде JSON Schema, указывающего имя, описание и типы аргументов инструмента. Подробнее см. в нашем [руководстве по использованию инструментов](https://huggingface.co/docs/transformers/en/chat_extras#passing-tools).

documents (`list[dict[str, str]]`, *необязательный*) : Список словарей, представляющих документы, доступные модели при выполнении RAG (генерация с дополнением из поиска). Если шаблон не поддерживает RAG, этот аргумент не будет иметь эффекта. Рекомендуется, чтобы каждый документ был словарем, содержащим ключи "title" и "text".

chat_template (`str`, *необязательный*) : Шаблон Jinja, используемый для этого преобразования. Как правило, не нужно передавать в этот аргумент ничего, так как по умолчанию используется шаблон модели.

add_generation_prompt (bool, *optional*) : Если этот параметр установлен, к отформатированному выводу будет добавлен промпт с токеном(ами), указывающими на начало сообщения ассистента. Это полезно, если вы хотите сгенерировать ответ от модели. Обратите внимание, что этот аргумент будет передан в шаблон чата, поэтому для того, чтобы он имел эффект, он должен поддерживаться в шаблоне.

continue_final_message (bool or str, *необязательный*) : Если этот параметр задан, чат будет отформатирован так, чтобы последнее сообщение в чате было открытым, без токенов EOS. Модель продолжит это сообщение, а не начнёт новое. Это позволяет «предзаполнить» часть ответа модели. Если передана строка, она будет использована в качестве ключа для поля, которое нужно продолжить (например, "reasoning_content"). Не может использоваться одновременно с `add_generation_prompt`.

tokenize (`bool`, по умолчанию `True`) : Флаг, определяющий, следует ли токенизировать вывод. Если `False`, выводом будет строка.

sanitize_control_tokens (`bool`, по умолчанию `False`) : Если установлено, токены управления, встречающиеся в сообщениях, инструментах, документах или переменных шаблона, переданных как `**kwargs`, кодируются как обычный текст, так что только токены управления, записанные самим чат-шаблоном, кодируются как токены. К токенам управления относятся специальные токены токенизатора, а также добавленные токены в `tokenizer.chat_control_tokens`. Если эта переменная не задана, токены управления выводятся из добавленных токенов, которые встречаются в тексте чат-шаблона и строковых литералах. Санитизируются только целые токены управления, поэтому, если шаблон объединяет строки из входных данных в токены управления (например, `'<|' + message['role'] + '|>'`), эти строки должны быть проверены отдельно. Ключи словарей также не санитизируются.

padding (`bool`, `str` или [PaddingStrategy](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.utils.PaddingStrategy), *необязательный*, по умолчанию `False`) : Выберите стратегию выравнивания возвращаемых последовательностей (с учётом стороны выравнивания и индекса выравнивания модели) из следующих:  - `True` или `'longest'`: Выровнять до самой длинной последовательности в батче (или не выравнивать, если предоставлена только одна последовательность). - `'max_length'`: Выровнять до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. - `False` или `'do_not_pad'` (по умолчанию): Без выравнивания (т. е. может быть выведен батч с последовательностями разной длины).

truncation (`bool`, по умолчанию `False`) : Указывает, нужно ли обрезать последовательности до максимальной длины. Не имеет эффекта, если tokenize равно `False`.

max_length (`int`, *optional*) : Максимальная длина (в токенах), используемая для выравнивания или усечения. Не влияет на результат, если tokenize равно `False`. Если значение не указано, по умолчанию будет использован атрибут `max_length` токенизатора.

return_tensors (`str` или [TensorType](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.TensorType), *необязательный*) : Если задано, возвращает тензоры конкретного фреймворка. Не влияет на результат, если tokenize равно `False`. Допустимые значения: - `'pt'`: возвращает объекты `torch.Tensor` PyTorch. - `'np'`: возвращает объекты `np.ndarray` NumPy.

return_dict (`bool`, по умолчанию `True`) : Возвращать ли словарь с именованными выходами. Не имеет значения, если tokenize равно `False`.

tokenizer_kwargs (`dict[str : Any]`, *необязательный*): Дополнительные аргументы для передачи в токенизатор.

return_assistant_tokens_mask (`bool`, по умолчанию `False`) : Указывает, следует ли возвращать маску токенов, сгенерированных ассистентом. Для токенов, сгенерированных ассистентом, маска будет содержать 1. Для токенов пользователя и системы маска будет содержать 0. Эта функция доступна только для шаблонов чата, которые поддерживают её с помощью ключевого слова `{% generation %}`.

- ****kwargs** : Дополнительные аргументы, передаваемые в рендер шаблона. Будут доступны для чат-шаблона.

**Возвращает:** `Union[list[int], Dict]`

Список идентификаторов токенов, представляющий токенизированный чат на данный момент, включая управляющие токены. Этот вывод готов к передаче в модель, как напрямую, так и через методы вроде `generate()`. Если `return_dict` установлен, будет возвращен словарь с результатами токенизатора.

Преобразует список словарей с ключами `"role"` и `"content"` в список идентификаторов токенов. Этот метод предназначен для использования с чат-моделями и читает атрибут chat_template токенизатора, чтобы определить формат и управляющие токены, используемые при преобразовании.

#### batch_decode[[transformers.PreTrainedTokenizerBase.batch_decode]]

```python
batch_decode(sequences: list[int] | list[list[int]] | np.ndarray | torch.Tensor, skip_special_tokens: bool = False, clean_up_tokenization_spaces: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2932)

**Параметры:**

sequences (`Union[list[int], list[list[int]], np.ndarray, torch.Tensor]`) : Список идентификаторов токенизированного входа. Может быть получен с помощью метода `__call__`.

skip_special_tokens (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли удалять специальные токены при декодировании.

clean_up_tokenization_spaces (`bool`, *необязательный*) : Указывает, следует ли очищать пробелы токенизации. Если `None`, по умолчанию используется `self.clean_up_tokenization_spaces`.

kwargs (дополнительные аргументы ключ-значение, *необязательные*): будут переданы в специфичный для базовой модели метод декодирования.

**Возвращает:** `list[str]`

Список декодированных предложений.

Преобразуйте список списков идентификаторов токенов в список строк, вызвав decode.

Этот метод предоставляется в целях обратной совместимости. Метод `decode` теперь нативно обрабатывает пакетный ввод, поэтому вы можете использовать `decode` напрямую вместо `batch_decode`.

#### clean_up_tokenization[[transformers.PreTrainedTokenizerBase.clean_up_tokenization]]

```python
clean_up_tokenization(text: str)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2203)

Убирает пробелы токенизации в заданном тексте. Этот метод предназначен в основном для поддержки удалённого кода.

#### convert_ids_to_tokens[[transformers.PreTrainedTokenizerBase.convert_ids_to_tokens]]

```python
convert_ids_to_tokens(ids: int | list[int], skip_special_tokens: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1498)

**Параметры:**

ids (`int` или `list[int]`) : Идентификатор токена (или идентификаторы токенов), который нужно преобразовать в токены.

skip_special_tokens (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли удалять специальные токены при декодировании.

**Возвращает:** `str` или `list[str]`

Декодированный(е) токен(ы).

Преобразует одиночный индекс или последовательность индексов в токен или последовательность токенов, используя словарь и добавленные токены.

#### convert_tokens_to_ids[[transformers.PreTrainedTokenizerBase.convert_tokens_to_ids]]

```python
convert_tokens_to_ids(tokens: str | list[str])
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1482)

**Параметры:**

tokens (`str` или `list[str]`) : Один или несколько токенов для преобразования в идентификаторы токенов.

**Возвращает:** `int` или `list[int]`

Идентификатор токена или список идентификаторов токенов.

Преобразует строку токенов (или последовательность токенов) в целочисленный идентификатор (или последовательность идентификаторов), используя словарь.

#### convert_tokens_to_string[[transformers.PreTrainedTokenizerBase.convert_tokens_to_string]]

```python
convert_tokens_to_string(tokens: list[str])
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2871)

**Параметры:**

tokens (`list[str]`) : Токен для объединения в строку.

**Возвращает:** `str`

Объединённые токены.

Преобразует последовательность токенов в единую строку. Самый простой способ сделать это — `" ".join(tokens)`, но часто нужно одновременно удалять артефакты субтокенизации.

#### decode[[transformers.PreTrainedTokenizerBase.decode]]

```python
decode(token_ids: int | list[int] | list[list[int]] | np.ndarray | torch.Tensor, skip_special_tokens: bool = False, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2884)

**Параметры:**

token_ids (`Union[int, list[int], list[list[int]], np.ndarray, torch.Tensor]`) : одна последовательность или батч (список последовательностей) токенизированных входных id. Может быть получена с помощью метода `__call__`.

skip_special_tokens (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли удалять специальные токены при декодировании.

kwargs (дополнительные аргументы ключ-значение, *необязательные*): будут переданы в специфичный для базовой модели метод декодирования.

**Возвращает:** `Union[str, list[str]]`

Декодированная строка для одной последовательности или список декодированных строк для батча последовательностей.

Преобразует последовательность идентификаторов в строку или список последовательностей в список строк, используя токенизатор и словарь, с опциями для удаления специальных токенов и очистки пробелов токенизации.

Аналогично выполнению `self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))`.

#### encode[[transformers.PreTrainedTokenizerBase.encode]]

```python
encode(text: TextInput | PreTokenizedInput | EncodedInput, text_pair: TextInput | PreTokenizedInput | EncodedInput | None = None, add_special_tokens: bool = True, padding: bool | str | PaddingStrategy = False, truncation: bool | str | TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, padding_side: str | None = None, return_tensors: str | TensorType | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2262)

**Параметры:**

text (`str`, `list[str]` or `list[int]`) : Первая последовательность, подлежащая кодированию. Это может быть строка, список строк (токенизированная строка с использованием метода `tokenize`) или список целых чисел (идентификаторы токенизированной строки, полученные с помощью метода `convert_tokens_to_ids`).

text_pair (`str`, `list[str]` или `list[int]`, *необязательный*) : Необязательная вторая последовательность для кодирования. Это может быть строка, список строк (токенизированная строка с использованием метода `tokenize`) или список целых чисел (идентификаторы токенизированной строки с использованием метода `convert_tokens_to_ids`).

add_special_tokens (`bool`, *необязательный*, по умолчанию `True`) : Указывает, следует ли добавлять специальные токены при кодировании последовательностей. Для этого используется базовая функция `PretrainedTokenizerBase.build_inputs_with_special_tokens`, которая определяет, какие токены автоматически добавляются к входным идентификаторам. Это полезно, если вы хотите автоматически добавлять токены `bos` или `eos`.

padding (`bool`, `str` или [PaddingStrategy](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.utils.PaddingStrategy), *необязательный*, по умолчанию `False`) : Включает и управляет выравниванием. Принимает следующие значения:  - `True` или `'longest'`: Выравнивание до самой длинной последовательности в батче (или без выравнивания, если предоставлена только одна последовательность). - `'max_length'`: Выравнивание до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. - `False` или `'do_not_pad'` (по умолчанию): Без выравнивания (т. е. на выходе может быть батч с последовательностями разной длины).

truncation (`bool`, `str` или [TruncationStrategy](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *необязательный*, по умолчанию `False`) : Включает и управляет усечением. Принимает следующие значения:  - `True` или `'longest_first'`: Усечение до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. Усечение выполняется посимвольно: если предоставлена пара последовательностей (или пакет пар), то символ удаляется из самой длинной последовательности в паре. - `'only_first'`: Усечение до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. Если предоставлена пара последовательностей (или пакет пар), усечение выполняется только для первой последовательности в паре. - `'only_second'`: Усечение до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. Если предоставлена пара последовательностей (или пакет пар), усечение выполняется только для второй последовательности в паре. - `False` или `'do_not_truncate'` (по умолчанию): Усечение не выполняется (т. е. на выходе может быть пакет с длинами последовательностей, превышающими максимально допустимый размер входных данных модели).

max_length (`int`, *optional*) : Управляет максимальной длиной, используемой одним из параметров усечения/дополнения. Если значение не задано или равно `None`, будет использована предопределённая максимальная длина модели, если один из параметров усечения/дополнения требует указания максимальной длины. Если у модели нет конкретной максимальной длины входных данных (как у XLNet), усечение/дополнение до максимальной длины будет отключено.

stride (`int`, *optional*, по умолчанию 0) : Если задано число вместе с `max_length`, то переполненные токены, возвращаемые при `return_overflowing_tokens=True`, будут содержать некоторые токены из конца усечённой последовательности, чтобы обеспечить перекрытие между усечённой и переполненной последовательностями. Значение этого аргумента определяет количество перекрывающихся токенов.

is_split_into_words (`bool`, *необязательный*, по умолчанию `False`) : Указывает, является ли вход уже предтокенизированным (например, разбитым на слова). Если установлено в `True`, токенизатор предполагает, что вход уже разбит на слова (например, по пробелам), и токенизирует их. Это полезно для NER или классификации токенов.

pad_to_multiple_of (`int`, *optional*) : Если задано, последовательность будет дополнена до кратного указанного значения. Требуется, чтобы `padding` был активирован. Это особенно полезно для использования Tensor Cores на аппаратных средствах NVIDIA с вычислительной способностью `>= 7.5` (Volta).

padding_side (`str`, *необязательный*) : Сторона, на которой модель должна применять выравнивание. Значение выбирается из ['right', 'left']. Значение по умолчанию берётся из атрибута класса с тем же именем.

return_tensors (`str` или [TensorType](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры вместо списка целых чисел Python. Допустимые значения:  - `'pt'`: Возвращает объекты `torch.Tensor` PyTorch. - `'np'`: Возвращает объекты `np.ndarray` Numpy.

- ****kwargs** : Передаются в метод `.tokenize()`.

**Возвращает:** `list[int]`, `torch.Tensor` или `np.ndarray`

Токенизированные идентификаторы текста.

Преобразует строку в последовательность идентификаторов (целых чисел), используя токенизатор и словарь.

Аналогично выполнению `self.convert_tokens_to_ids(self.tokenize(text))`.

#### encode_message_with_chat_template[[transformers.PreTrainedTokenizerBase.encode_message_with_chat_template]]

```python
encode_message_with_chat_template(message: dict[str, str], conversation_history: list[dict[str, str]] | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L3259)

**Параметры:**

message (`dict`) : Словарь с ключами "role" и "content", представляющий сообщение для токенизации.

conversation_history (`list[dict]`, *необязательный*) : Список словарей с ключами "role" и "content", представляющий историю чата на данный момент. Если вы токенизируете сообщения по одному, передайте сюда предыдущие сообщения в диалоге.

- ****kwargs** : Дополнительные аргументы для передачи в метод `apply_chat_template`.

**Возвращает:** `list[int]`

Список идентификаторов токенов, представляющий токенизированное сообщение.

Токенизация одного сообщения. Этот метод является удобным обёрткой вокруг `apply_chat_template`, позволяющей токенизовать сообщения по одному. Это полезно, например, для потоковой передачи токенов. Не гарантируется, что этот метод будет работать идеально. Для некоторых моделей может быть невозможно надёжно токенизовать отдельные сообщения. Например, если шаблон чата добавляет токены после каждого сообщения, но также имеет префикс, который добавляется ко всему чату, то будет невозможно отличить токен начала чата от токена начала сообщения. В таких случаях этот метод будет делать всё возможное, чтобы найти правильную токенизацию, но результат может быть не идеальным. **Примечание:** Этот метод не поддерживает `add_generation_prompt`. Если вы хотите добавить промпт для генерации, сделайте это отдельно после токенизации диалога.

#### from_pretrained[[transformers.PreTrainedTokenizerBase.from_pretrained]]

```python
from_pretrained(pretrained_model_name_or_path: str | os.PathLike, *init_inputs, cache_dir: str | os.PathLike | None = None, force_download: bool = False, local_files_only: bool = False, token: str | bool | None = None, revision: str = 'main', trust_remote_code = False, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1514)

**Параметры:**

pretrained_model_name_or_path (`str` или `os.PathLike`) : Может быть одним из следующих:  - строка, *model id* предопределенного токенизатора, размещенного в репозитории моделей на huggingface.co. - путь к *каталогу*, содержащему файлы словаря, необходимые для токенизатора, например, сохраненные с помощью метода [save_pretrained()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.save_pretrained), например, `./my_model_directory/`. - (**Устарело**, не применимо ко всем производным классам) путь к одному сохраненному файлу словаря (если и только если токенизатору требуется один файл словаря, как в случае с Bert или XLNet), например, `./my_model_directory/vocab.txt`.

cache_dir (`str` или `os.PathLike`, *необязательный*) : Путь к каталогу, в котором должны кэшироваться загруженные предопределённые файлы словаря токенизатора, если стандартный кэш не используется.

force_download (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли принудительно (пере)скачивать файлы словаря и заменять кэшированные версии, если они существуют.

proxies (`dict[str, str]`, *необязательный*) : Словарь прокси-серверов, используемых по протоколу или конечной точке, например, `{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}`. Прокси-серверы применяются при каждой отправке запроса.

token (`str` или *bool*, *необязательный*) : Токен, используемый в качестве HTTP bearer-авторизации для удалённых файлов. Если `True`, будет использован токен, сгенерированный при выполнении `hf auth login` (хранится в `~/.huggingface`).

local_files_only (`bool`, *необязательный*, по умолчанию `False`) : Использовать только локальные файлы и не пытаться скачивать файлы из сети.

revision (`str`, *необязательный*, по умолчанию `"main"`) : Конкретная версия модели, которую следует использовать. Поскольку для хранения моделей и других артефактов на huggingface.co используется система на базе git, `revision` может быть любым идентификатором, разрешённым git: именем ветки, именем тега или идентификатором коммита.

subfolder (`str`, *необязательный*) : Если соответствующие файлы находятся в подпапке репозитория модели на huggingface.co (например, для facebook/rag-token-base), укажите её здесь.

inputs (дополнительные позиционные аргументы, *необязательные*) : будут переданы в метод `__init__` токенизатора.

trust_remote_code (`bool`, *необязательный*, по умолчанию `False`) : Разрешает ли использование пользовательских моделей, определённых на Hub в собственных файлах моделирования. Этот параметр следует устанавливать в `True` только для репозиториев, которым вы доверяете и код которых вы изучили, поскольку он приводит к выполнению кода, размещённого на Hub, на вашем локальном компьютере.

kwargs (дополнительные аргументы ключ-значение, *необязательные*) : Передаются в метод `__init__` Tokenizer. Могут использоваться для установки специальных токенов, таких как `bos_token`, `eos_token`, `unk_token`, `sep_token`, `pad_token`, `cls_token`, `mask_token`, `extra_special_tokens`. Подробности о параметрах см. в `__init__`.

Создайте экземпляр [PreTrainedTokenizerBase](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase) (или производного класса) из предопределенного токенизатора.

Передача `token=True` обязательна, если вы хотите использовать частную модель.

Примеры:

```python
# We can't instantiate directly the base class *PreTrainedTokenizerBase* so let's show our examples on a derived class: BertTokenizer
# Download vocabulary from huggingface.co and cache.
tokenizer = BertTokenizer.from_pretrained("google-bert/bert-base-uncased")

# Download vocabulary from huggingface.co (user-uploaded) and cache.
tokenizer = BertTokenizer.from_pretrained("dbmdz/bert-base-german-cased")

# If vocabulary files are in a directory (e.g. tokenizer was saved using *save_pretrained('./test/saved_model/')*)
tokenizer = BertTokenizer.from_pretrained("./test/saved_model/")

# If the tokenizer uses a single vocabulary file, you can point directly to this file
tokenizer = BertTokenizer.from_pretrained("./test/saved_model/my_vocab.txt")

# You can link tokens to special vocabulary when instantiating
tokenizer = BertTokenizer.from_pretrained("google-bert/bert-base-uncased", unk_token="<unk>")
# You should be sure '<unk>' is in the vocabulary when doing that.
# Otherwise use tokenizer.add_special_tokens({'unk_token': '<unk>'}) instead)
assert tokenizer.unk_token == "<unk>"
```

#### get_chat_template[[transformers.PreTrainedTokenizerBase.get_chat_template]]

```python
get_chat_template(chat_template: str | None = None, tools: list[dict] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L3319)

**Параметры:**

chat_template (`str`, *необязательный*) : шаблон Jinja или имя шаблона, используемого для этого преобразования. Как правило, не нужно передавать в этот аргумент ничего, так как по умолчанию используется шаблон модели.

tools (`list[Dict]`, *необязательный*) : Список инструментов (вызываемых функций), доступных модели. Если шаблон не поддерживает вызов функций, этот аргумент не будет иметь эффекта. Каждый инструмент должен передаваться в формате JSON Schema, указывающем имя, описание и типы аргументов инструмента. Подробнее см. в нашем [руководстве по шаблонам чата](https://huggingface.co/docs/transformers/main/en/chat_templating#automated-function-conversion-for-tool-use).

**Возвращает:** `str`

Строка шаблона чата.

Получает строку шаблона чата, используемую для токенизации сообщений чата. Этот шаблон применяется внутри метода `apply_chat_template` и также может использоваться внешне для получения шаблона чата модели с целью более точного отслеживания генерации.

#### get_response_parser[[transformers.PreTrainedTokenizerBase.get_response_parser]]

```python
get_response_parser(response_template: dict | None = None, prefix: str | list[int] | np.ndarray | torch.Tensor | None = None, tools: list[dict | Callable] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L3516)

Возвращает `ResponseParser` с состоянием для инкрементального разбора потокового ответа. Использует атрибут `response_template` токенизатора, если он не переопределён.

`prefix` (строка, список идентификаторов токенов или одномерный тензор) обязателен: поток инициализируется в состоянии, определяемом контекстом чат-промпта (обрезанный справа после `start_anchor` из спецификации), поэтому сгенерированные фрагменты, передаваемые через `stream.feed()`, классифицируются корректно, даже если шаблон чата выдал содержимое хода ассистента (например, `<think>\n`), с которого модель продолжает генерацию. Если параметр не указан, возникает исключение; если поток действительно начинается с чистого хода ассистента, передайте `prefix=""`, чтобы отключить это поведение.

`tools` (`list[Union[Dict, Callable]]`, *необязательный*): инструменты, доступные модели, в том же формате, который принимает `apply_chat_template`. Если параметр задан, аргументы вызова инструмента приводятся к типу с использованием JSON-схемы вызываемого инструмента по мере закрытия каждой области, поэтому потоковые события `region_close` содержат аргументы с типами.

#### get_special_tokens_mask[[transformers.PreTrainedTokenizerBase.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list[int], token_ids_1: list[int] | None = None, already_has_special_tokens: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1337)

**Параметры:**

token_ids_0 : список идентификаторов для (возможно, уже отформатированной) последовательности.

token_ids_1 : Не используется, если `already_has_special_tokens=True`. В этом случае должно быть None.

already_has_special_tokens : Указывает, уже ли последовательность отформатирована со специальными токенами.

**Возвращаемое значение:** список целых чисел в диапазоне [0, 1]

1 для специального токена, 0 для токена последовательности.

Получить идентификаторы последовательностей из списка токенов, в который не добавлены специальные токены.

Для быстрых токенизаторов коллабораторы данных вызывают этот метод с `already_has_special_tokens=True`, чтобы построить маску для уже отформатированной последовательности. В этом случае маска вычисляется путём проверки принадлежности элементов `all_special_ids`.

#### get_vocab[[transformers.PreTrainedTokenizerBase.get_vocab]]

```python
get_vocab()
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L1470)

**Возвращает:** `dict[str, int]`

Словарь.

Возвращает словарь в виде словаря с соответствием токенов и индексов.

`tokenizer.get_vocab()[token]` эквивалентно `tokenizer.convert_tokens_to_ids(token)`, если `token` входит в словарь.

#### pad[[transformers.PreTrainedTokenizerBase.pad]]

```python
pad(encoded_inputs: BatchEncoding | list[BatchEncoding] | dict[str, EncodedInput] | dict[str, list[EncodedInput]] | list[dict[str, EncodedInput]], padding: bool | str | PaddingStrategy = True, max_length: int | None = None, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_attention_mask: bool | None = None, return_tensors: str | TensorType | None = None, verbose: bool = True)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2599)

**Параметры:**

encoded_inputs ([BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding), список [BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding), `dict[str, list[int]]`, `dict[str, list[list[int]]` или `list[dict[str, list[int]]]`) : Токенизированные входные данные. Могут представлять один вход ([BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding) или `dict[str, list[int]]`) или пакет токенизированных входных данных (список [BatchEncoding](/docs/transformers/v5.23.0/ru/main_classes/tokenizer#transformers.BatchEncoding), *dict[str, list[list[int]]]* или *list[dict[str, list[int]]]*), поэтому этот метод можно использовать как на этапе предобработки, так и в функции collate для PyTorch Dataloader. Вместо `list[int]` могут использоваться тензоры (массивы numpy или тензоры PyTorch), см. примечание выше о типе возвращаемого значения.

padding (`bool`, `str` или [PaddingStrategy](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.utils.PaddingStrategy), *необязательный*, по умолчанию `True`) : Выбор стратегии выравнивания возвращаемых последовательностей (с учётом стороны выравнивания и индекса выравнивания модели) из следующих вариантов:  - `True` или `'longest'` (по умолчанию): Выравнивание до самой длинной последовательности в батче (или без выравнивания, если предоставлена только одна последовательность). - `'max_length'`: Выравнивание до максимальной длины, указанной в аргументе `max_length`, или до максимально допустимой входной длины для модели, если этот аргумент не указан. - `False` или `'do_not_pad'`: Без выравнивания (т. е. может быть выведен батч с последовательностями разной длины).

max_length (`int`, *optional*) : Максимальная длина возвращаемого списка и, при необходимости, длина отступов (см. выше).

pad_to_multiple_of (`int`, *optional*) : Если задано, последовательность будет дополнена до кратного указанного значения. Это особенно полезно для использования Tensor Cores на аппаратных средствах NVIDIA с вычислительной способностью `>= 7.5` (Volta).

padding_side (`str`, *необязательный*) : Сторона, на которой модель должна применять выравнивание. Значение выбирается из ['right', 'left']. Значение по умолчанию берётся из атрибута класса с тем же именем.

return_attention_mask (`bool`, *необязательный*) : Указывает, следует ли возвращать маску внимания. Если значение не задано, маска внимания будет возвращена в соответствии со значением по умолчанию конкретного токенизатора, определяемым атрибутом `return_outputs`.  [Что такое маски внимания?](../glossary#attention-mask)

return_tensors (`str` или [TensorType](/docs/transformers/v5.23.0/ru/internal/file_utils#transformers.TensorType), *optional*) : Если задано, возвращает тензоры вместо списка целых чисел Python. Допустимые значения:  - `'pt'`: Возвращает объекты `torch.Tensor` PyTorch. - `'np'`: Возвращает объекты `np.ndarray` Numpy.

verbose (`bool`, *необязательный*, по умолчанию `True`) : Выводить ли дополнительную информацию и предупреждения.

Дополнить одиночный закодированный вход или пакет закодированных входов до заданной длины или до максимальной длины последовательности в пакете.

Сторона выравнивания (слева/справа) и идентификаторы токенов выравнивания определяются на уровне токенизатора (с помощью `self.padding_side`, `self.pad_token_id` и `self.pad_token_type_id`).

Обратите внимание, что при использовании быстрого токенизатора вызов метода `__call__` быстрее, чем последовательный вызов метода кодирования текста и метода `pad` для получения дополненного кодирования.

Если переданные `encoded_inputs` представляют собой словарь массивов numpy или тензоров PyTorch, результат будет использовать тот же тип, если вы не укажете другой тип тензора с помощью `return_tensors`. В случае тензоров PyTorch вы, однако, потеряете информацию об устройстве, на котором они были созданы.

#### parse_response[[transformers.PreTrainedTokenizerBase.parse_response]]

```python
parse_response(response: str | list[int] | list[str] | list[list[int]] | np.ndarray | torch.Tensor, schema: dict | None = None, prefix: str | list[int] | list[str] | list[list[int]] | np.ndarray | torch.Tensor | None = None, tools: list[dict | Callable] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L3431)

**Параметры:**

response (`str`, идентификаторы токенов, тензор 1D/2D или список этих значений): результат, сгенерированный моделью. Либо декодированный текст, либо идентификаторы токенов, представленные в виде одной последовательности (`str` / `list[int]` / массив 1D / тензор 1D) или батча (`list[str]` / `list[list[int]]` / массив 2D / тензор 2D). Обратите внимание, что здесь должен содержаться только вывод модели, без предшествующего текста запроса (он указывается в `prefix`).

schema (`dict`, *необязательный*) : Шаблон ответа, указывающий ожидаемый формат вывода и способ выполнения разбора. Если не указан, будет использован атрибут `response_template` токенизатора.

prefix (`str`, идентификаторы токенов, тензор 1D/2D или список этих значений): промпт, предшествовавший генерации. Это необходимо, поскольку многие шаблоны чата заранее формируют часть сообщения, поэтому для корректного разбора нужно видеть промпт. Для пакетного `response` передайте либо единый префикс (распространяемый на все элементы), либо по одному префиксу на каждый элемент.

tools (`list[Union[Dict, Callable]]`, *необязательный*) : Инструменты, доступные модели, в том же формате, который принимает `apply_chat_template`. При передаче аргументы вызова инструмента приводятся к типу согласно JSON-схеме вызываемого инструмента: `"7"` становится `7` для целочисленного параметра, но остаётся `"7"` для строкового.

**Возвращаемое значение:**

Разобранное сообщение в виде `dict` для одной последовательности или `list` таких словарей для батча.

Преобразует выходную строку, созданную при генерации текста моделью, в разобранный словарь сообщения. Этот метод предназначен для использования с чат-моделями и читает атрибут `response_template` токенизатора для управления разбором, если только аргумент `schema` не передан напрямую.

Принимает как единичную последовательность, так и батч. Единичная последовательность (строка или одномерная последовательность идентификаторов токенов) возвращает один разобранный словарь сообщения `dict`; батч (список строк, список последовательностей идентификаторов токенов или двумерный тензор/массив) возвращает `list` разобранных словарей сообщений, по одному на каждый элемент.

#### push_to_hub[[transformers.PreTrainedTokenizerBase.push_to_hub]]

```python
push_to_hub(repo_id: str, commit_message: str | None = None, commit_description: str | None = None, private: bool | None = None, token: bool | str | None = None, revision: str | None = None, create_pr: bool = False, max_shard_size: int | str | None = '50GB', tags: list[str] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/utils/hub.py#L822)

**Параметры:**

repo_id (`str`) : Имя репозитория, в который вы хотите загрузить свой токенизатор. При загрузке в определённую организацию это имя должно содержать название вашей организации.

commit_message (`str`, *необязательный*) : Сообщение для коммита при выполнении push. По умолчанию используется `"Upload tokenizer"`.

commit_description (`str`, *необязательный*) : Описание коммита, который будет создан

private (`bool`, *optional*) : Указывает, нужно ли сделать репозиторий приватным. Если `None` (по умолчанию), репозиторий будет публичным, если только по умолчанию для организации не задан приватный режим. Это значение игнорируется, если репозиторий уже существует.

token (`bool` или `str`, *необязательный*) : Токен, используемый в качестве HTTP bearer-авторизации для удалённых файлов. Если `True` (по умолчанию), будет использован токен, сгенерированный при выполнении `hf auth login` (хранится в `~/.huggingface`).

revision (`str`, *необязательный*) : Ветка, в которую будут отправлены загруженные файлы.

create_pr (`bool`, *необязательный*, по умолчанию `False`) : Создавать ли PR с загруженными файлами или коммитить изменения напрямую.

max_shard_size (`int` или `str`, *необязательный*, по умолчанию `"50GB"`) : Применимо только к моделям. Максимальный размер контрольной точки до её разбивки на части. Каждая часть контрольной точки будет иметь размер, меньший этого значения. Если значение указано в виде строки, оно должно состоять из цифр, за которыми следует единица измерения (например, `"5MB"`).

tags (`list[str]`, *необязательный*) : Список тегов для загрузки на Hub.

Загрузите файлы токенизатора в 🤗 Model Hub.

Примеры:

```python
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-cased")

# Push the tokenizer to your namespace with the name "my-finetuned-bert".
tokenizer.push_to_hub("my-finetuned-bert")

# Push the tokenizer to an organization with the name "my-finetuned-bert".
tokenizer.push_to_hub("huggingface/my-finetuned-bert")
```

#### register_for_auto_class[[transformers.PreTrainedTokenizerBase.register_for_auto_class]]

```python
register_for_auto_class(auto_class = 'AutoTokenizer')
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L3000)

**Параметры:**

auto_class (`str` или `type`, *необязательный*, по умолчанию `"AutoTokenizer"`) : Автокласс, с которым будет зарегистрирован этот новый токенизатор.

Зарегистрируйте этот класс с указанным автоклассом. Это следует использовать только для пользовательских токенизаторов, так как токенизаторы из библиотеки уже сопоставлены с `AutoTokenizer`.

#### save_chat_templates[[transformers.PreTrainedTokenizerBase.save_chat_templates]]

```python
save_chat_templates(save_directory: str | os.PathLike, tokenizer_config: dict, filename_prefix: str | None, save_jinja_files: bool)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L3373)

Если используется новый формат, записывает шаблоны чата в каталог сохранения и удаляет их из конфигурации токенизатора, если они там присутствуют. Если используется устаревший формат, файлы не записываются, а шаблоны записываются в конфигурацию токенизатора в соответствующем формате.

#### save_pretrained[[transformers.PreTrainedTokenizerBase.save_pretrained]]

```python
save_pretrained(save_directory: str | os.PathLike, legacy_format: bool | None = None, filename_prefix: str | None = None, push_to_hub: bool = False, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2005)

**Параметры:**

save_directory (`str` или `os.PathLike`) : Путь к каталогу, в котором будет сохранён токенизатор.

legacy_format (`bool`, *необязательный*) : Применимо только для быстрого токенизатора. Если значение не задано (по умолчанию), токенизатор будет сохранён в едином формате JSON, а также в устаревшем формате, если он существует, то есть со словарём, специфичным для данного токенизатора, и отдельным файлом added_tokens. Если `False`, токенизатор будет сохранён только в едином формате JSON. Этот формат несовместим с «медленными» токенизаторами (не использующими библиотеку *tokenizers*), поэтому токенизатор не сможет быть загружен в соответствующий «медленный» токенизатор. Если `True`, токенизатор будет сохранён в устаревшем формате. Если «медленный» токенизатор не существует, будет выброшено исключение ValueError.

filename_prefix (`str`, *необязательный*) : Префикс, который добавляется к именам файлов, сохраняемых токенизатором.

push_to_hub (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли после сохранения модели загрузить её в Hugging Face model hub. Репозиторий, в который нужно загрузить модель, можно указать с помощью `repo_id` (по умолчанию используется имя `save_directory` в вашем пространстве имён).

kwargs (`dict[str, Any]`, *необязательный*) : Дополнительные именованные аргументы, передаваемые в метод [push_to_hub()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub).

**Возвращаемое значение:** кортеж `str`

Файлы сохранены.

Сохраните полное состояние токенизатора.

Этот метод гарантирует, что полный токенизатор затем может быть загружен повторно с помощью метода класса `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained`.

Warning,None Это не сохранит изменения, которые вы могли внести в токенизатор после его создания (например, изменение `tokenizer.do_lower_case` после инициализации).

#### save_vocabulary[[transformers.PreTrainedTokenizerBase.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2224)

**Параметры:**

save_directory (`str`) : Каталог, в котором будет сохранен словарь.

filename_prefix (`str`, *необязательный*) : Необязательный префикс, который добавляется к именам сохраняемых файлов.

**Возвращает:** `tuple(str)`

Пути к сохранённым файлам.

Сохраняйте только словарь токенизатора (словарь + добавленные токены).

Этот метод не сохраняет конфигурацию и сопоставления специальных токенов токенизатора. Используйте `_save_pretrained()`, чтобы сохранить полное состояние токенизатора.

#### tokenize[[transformers.PreTrainedTokenizerBase.tokenize]]

```python
tokenize(text: str, pair: str | None = None, add_special_tokens: bool = False, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2242)

**Параметры:**

text (`str`) : Последовательность, подлежащая кодированию.

pair (`str`, *необязательный*) : Вторая последовательность, которая кодируется вместе с первой.

add_special_tokens (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли добавлять специальные токены, связанные с соответствующей моделью.

kwargs (дополнительные аргументы ключ-значение, *необязательные*): будут переданы в специфичный для конкретной модели метод кодирования. Подробности см. в [__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)

**Возвращает:** `list[str]`

Список токенов.

Преобразует строку в последовательность токенов, заменяя неизвестные токены на `unk_token`.

## Перечисления и именованные кортежи[[transformers.tokenization_utils_base.TruncationStrategy]]

#### transformers.tokenization_utils_base.TruncationStrategy[[transformers.tokenization_utils_base.TruncationStrategy]]

```python
transformers.tokenization_utils_base.TruncationStrategy(value, names = None, module = None, qualname = None, type = None, start = 1, boundary = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L159)

Возможные значения аргумента `truncation` в [PreTrainedTokenizerBase.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). Полезно для автодополнения в IDE.

#### transformers.CharSpan[[transformers.CharSpan]]

```python
transformers.CharSpan(start: ForwardRef('int'), end: ForwardRef('int'))
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L171)

**Параметры:**

start (`int`) : Индекс первого символа в исходной строке.

end (`int`) : Индекс символа, следующего за последним символом в исходной строке.

Диапазон символов в исходной строке.

#### transformers.TokenSpan[[transformers.TokenSpan]]

```python
transformers.TokenSpan(start: ForwardRef('int'), end: ForwardRef('int'))
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L184)

**Параметры:**

start (`int`) : Индекс первого токена в диапазоне.

end (`int`) : Индекс токена, следующего за последним токеном в диапазоне.

Диапазон токенов в закодированной строке (список токенов).

