Численный пример — Иван и скобки

Задача: проследить, как меняется $P(L)$ навыка «раскрытие скобок» у Ивана после каждой задачи.

Стартовое состояние

Иван открывает первую задачу с раскрытием скобок. Раньше он эту тему не проходил.

• $P(L_0) = 0.2$ — априорная уверенность («скорее не знает»).
• $P(S) = 0.1$, $P(G) = 0.2$, $P(T) = 0.1$ — литературные дефолты.

Задача 1 — решил верно

Применяем формулу posterior для correct:

$$P_{\text{post}} = \frac{0.2 \cdot 0.9}{0.2 \cdot 0.9 + 0.8 \cdot 0.2} = \frac{0.18}{0.34} \approx 0.529$$

Learning step:

$$P(L_1) = 0.529 + (1 - 0.529) \cdot 0.1 \approx 0.576$$

0.20 → 0.58. Уверенность подскочила почти втрое после одной задачи. Это правильно: априорно мы почти не знали, теперь у нас есть сильный позитивный сигнал.

Задача 2 — решил верно

Теперь $P(L) = 0.576$.

$$P_{\text{post}} = \frac{0.576 \cdot 0.9}{0.576 \cdot 0.9 + 0.424 \cdot 0.2} = \frac{0.518}{0.518 + 0.085} \approx 0.859$$ $$P(L_2) = 0.859 + (1 - 0.859) \cdot 0.1 \approx 0.873$$

0.58 → 0.87. Ещё одна правильная — модель почти уверена.

Задача 3 — ошибся

$P(L) = 0.873$. Применяем formula для wrong:

$$P_{\text{post}} = \frac{0.873 \cdot 0.1}{0.873 \cdot 0.1 + 0.127 \cdot 0.9} = \frac{0.0873}{0.0873 + 0.1143} \approx 0.433$$ $$P(L_3) = 0.433 + (1 - 0.433) \cdot 0.1 \approx 0.490$$

0.87 → 0.49. Заметное падение, но не до нуля. Модель видит ошибку и говорит:

Был на 0.87 — это могла быть невнимательность (slip). Снижаю до 0.49. Жду следующей задачи.

Задача 4 — решил верно

$P(L) = 0.490$.

$$P_{\text{post}} = \frac{0.490 \cdot 0.9}{0.490 \cdot 0.9 + 0.510 \cdot 0.2} = \frac{0.441}{0.441 + 0.102} \approx 0.812$$ $$P(L_4) = 0.812 + (1 - 0.812) \cdot 0.1 \approx 0.831$$

0.49 → 0.83. Реабилитация.

Задача 5 — ошибся (вторая ошибка подряд после восстановления)

$P(L) = 0.831$.

$$P_{\text{post}} = \frac{0.831 \cdot 0.1}{0.831 \cdot 0.1 + 0.169 \cdot 0.9} = \frac{0.0831}{0.0831 + 0.1521} \approx 0.353$$ $$P(L_5) = 0.353 + (1 - 0.353) \cdot 0.1 \approx 0.418$$

0.83 → 0.42. Снова падение.

Задача 6 — ошибся (третья за 6 задач)

$P(L) = 0.418$.

$$P_{\text{post}} = \frac{0.418 \cdot 0.1}{0.418 \cdot 0.1 + 0.582 \cdot 0.9} = \frac{0.0418}{0.0418 + 0.5238} \approx 0.074$$ $$P(L_6) = 0.074 + (1 - 0.074) \cdot 0.1 \approx 0.166$$

0.42 → 0.17. Третья ошибка подряд — модель уверенно говорит: ученик навыком не владеет, slip объясняет одну ошибку, не три.

Это и есть «понимание не случайной ошибки vs реального пробела».

Все 6 шагов одной таблицей

Шаг	Ответ	$P(L)$ до	posterior	$P(L)$ после
0	—	—	—	0.200
1	✓	0.200	0.529	0.576
2	✓	0.576	0.859	0.873
3	✗	0.873	0.433	0.490
4	✓	0.490	0.812	0.831
5	✗	0.831	0.353	0.418
6	✗	0.418	0.074	0.166

График по шагам

P(L)
 1.0 ┤
 0.9 ┤      ●
 0.8 ┤
 0.7 ┤
 0.6 ┤●           ●
 0.5 ┤
 0.4 ┤      ●           ●
 0.3 ┤
 0.2 ┤●                       ●
 0.1 ┤
 0.0 ┴──┬──┬──┬──┬──┬──┬──┬─────
        0  1  2  3  4  5  6
                  шаг

Что мы из этого видим

1. Серия правильных (1-2) → быстро поднимает уверенность.
2. Одна ошибка на высокой уверенности → объясняется как slip, модель «не теряет голову».
3. Серия ошибок (5-6) → модель уверенно опускает оценку, потому что slip двух подряд маловероятен.
4. Volatility в районе $P(L) \approx 0.5$ — это правильно, у модели мало уверенности.

В главе 8 мы посмотрим, как из этой истории $P(L)$ выбирается следующая задача для Ивана. Скорее всего, после такой картины — задача попроще на тот же навык, чтобы закрепить, а не идти дальше.

Хочешь сам проверить?

Эти числа точно совпадают с реализацией в web/lib/bkt.ts. Полный прогон в Python с графиком — будет в Notebook 1 — BKT from scratch.