Who Let The Dogs Out 🐾 on Nostr: Показывается, что промежуточные токены (ITG) в ...
Показывается, что промежуточные токены (ITG) в «моделях рассуждений» нельзя надежно трактовать как «следы мыслей».
Хотя обучение с промежуточными токенами повышает точность, семантической связи между содержимым трасс и реальными логическими вычислениями модели часто нет.
В задачах, где трассы можно формально проверить (например, лабиринты с A*), валидность трассы слабо коррелирует с корректностью итогового плана; модель может сохранять точность даже при шумных/подмененных трассах.
Пост‑обучение по подкреплению чаще улучшает ответ, но не делает трассы семантически «правильными».
Для пользователей это ведёт к ложному доверию: правдоподобные «человеческие» фразы и даже рост длины «мыслей» не означают реальной сложности или верности рассуждений, а попытки приписывать интерпретируемость вредны.
Рекомендация: не использовать промежуточные токены как индикатор надежности; доверие должно формироваться проверкой результата внешними источниками/верификаторами.
https://arxiv.org/pdf/2504.09762#Ai
Published at
2026-08-20 17:06:29 UTCEvent JSON
{
"id": "3797e92050d85d90cdf90c7c0c0e0ec5cb9547e943f197c3fbf727d13fd3fadf",
"pubkey": "758c17dd844b7702107be6aa2045c6a9b1f27c1014a5fdbcdf9829dd70b17e82",
"created_at": 1787245589,
"kind": 1,
"tags": [
[
"t",
"ai"
],
[
"proxy",
"https://mastodon.ml/users/ashed/statuses/117128926937775568",
"activitypub"
]
],
"content": "Показывается, что промежуточные токены (ITG) в «моделях рассуждений» нельзя надежно трактовать как «следы мыслей». \nХотя обучение с промежуточными токенами повышает точность, семантической связи между содержимым трасс и реальными логическими вычислениями модели часто нет. \nВ задачах, где трассы можно формально проверить (например, лабиринты с A*), валидность трассы слабо коррелирует с корректностью итогового плана; модель может сохранять точность даже при шумных/подмененных трассах. \nПост‑обучение по подкреплению чаще улучшает ответ, но не делает трассы семантически «правильными». \nДля пользователей это ведёт к ложному доверию: правдоподобные «человеческие» фразы и даже рост длины «мыслей» не означают реальной сложности или верности рассуждений, а попытки приписывать интерпретируемость вредны. \nРекомендация: не использовать промежуточные токены как индикатор надежности; доверие должно формироваться проверкой результата внешними источниками/верификаторами.\n\nhttps://arxiv.org/pdf/2504.09762\n\n#Ai",
"sig": "87ae27a0933d1b0c9e6c3336c6c0f80a44c8db668f82a46a54791458e5c96884d43ea64d1af791040a62cc0f00f765e63f8499cf4e3e8aefe6439f6cb8348f9d"
}