Join Nostr
2026-08-20 17:06:29 UTC

Who Let The Dogs Out 🐾 on Nostr: Показывается, что промежуточные токены (ITG) в ...

Показывается, что промежуточные токены (ITG) в «моделях рассуждений» нельзя надежно трактовать как «следы мыслей».
Хотя обучение с промежуточными токенами повышает точность, семантической связи между содержимым трасс и реальными логическими вычислениями модели часто нет.
В задачах, где трассы можно формально проверить (например, лабиринты с A*), валидность трассы слабо коррелирует с корректностью итогового плана; модель может сохранять точность даже при шумных/подмененных трассах.
Пост‑обучение по подкреплению чаще улучшает ответ, но не делает трассы семантически «правильными».
Для пользователей это ведёт к ложному доверию: правдоподобные «человеческие» фразы и даже рост длины «мыслей» не означают реальной сложности или верности рассуждений, а попытки приписывать интерпретируемость вредны.
Рекомендация: не использовать промежуточные токены как индикатор надежности; доверие должно формироваться проверкой результата внешними источниками/верификаторами.

https://arxiv.org/pdf/2504.09762

#Ai