Ретест-метрики по китайскому — как мерить прогресс без самообмана

Частота повтора одной и той же ошибки в речи

Метрика показывает, возвращается ли один и тот же speaking-сбой через неделю-две после разбора. Это полезнее, чем просто считать «сколько ошибок было сегодня».

metricsspeakingerrorsretest
Автор и редакция: Редакция Бонихуа. При использовании материалов обязательно указывайте источник: https://www.bonihua.ru.
Описание
Метрика показывает, возвращается ли один и тот же speaking-сбой через неделю-две после разбора. Это полезнее, чем просто считать «сколько ошибок было сегодня».
Когда использоватьПосле speaking-разборов, работы с fail-patterns и при переходе к более длинным ответам.
Как применятьОтметьте 3 ключевые ошибки недели, затем на следующем ретесте проверьте, сколько из них повторились в похожем контексте. Важен не абсолютный ноль, а тренд снижения повторяемости.

Ученик может делать меньше ошибок в одной удачной сессии, но снова тащить тот же провал через неделю. Error repeat rate помогает отловить именно это: мы смотрим, сколько ключевых ошибок живут дольше одного разбора и не уходят в автоматизацию.

От Бонихуа: метрика нужна не для отчёта начальству, а чтобы ученик и преподаватель перестали спорить с воздухом.

Последняя редакторская проверка: Редакция Бонихуа, 12 марта 2026 г..

Проверил: Дмитрий Петренко, главный редактор; Анна Смирнова, фактчек и валидация данных.

Методология и стандарты редакции: /editorial-policy

Trust и методология

Источник: datasets/teaching/retest-metrics.jsonl

Проверка: Валидация схемой Zod, проверка связей related_ids и статическая сборка маршрутов.

Частота обновления: При каждом обновлении датасета и пересборке manifest.

Ограничения: Данные носят справочный характер и не являются публичной офертой.

Лицензия: CC-BY-NC-SA-4.0. Условия использования.

Коммерческое использование — по запросу на hello.bonihua@gmail.com.

Quality score: 96%.

Битые related_ids: 48. Последняя проверка: 12 марта 2026 г..

Отчёт: reports/dataset-audit-2026-02-13.md

Примеры

  • Из 3 ключевых ошибок через неделю повторились 2, через две недели — только 1.
  • Если повторяемость не снижается, значит правка не переносится в живую речь.

Связанные материалы

FAQ

Почему не считать все ошибки подряд?

Потому что это превращает метрику в хаос. Здесь важна устойчивость конкретных провалов.

Нормально ли, если какая-то ошибка держится дольше других?

Да. Смысл метрики как раз в том, чтобы увидеть, что именно держится и требует другого подхода.

Куда дальше

← Все материалы: Ретест-метрики по китайскому — как мерить прогресс без самообмана