Почему BPE работает на уровне байтов, а не символов?

Тема: NLP и LLM · Токенизация · Сложность: Сложно

Ответьте на вопрос вслух или текстом — разбор придёт сразу: оценка по четырём критериям, пробелы и готовая формулировка.