Зачем в RLHF нужен PPO?

Тема: NLP и LLM · Alignment · Сложность: Средне

Ответьте на вопрос вслух или текстом — разбор придёт сразу: оценка по четырём критериям, пробелы и готовая формулировка.