nostaro on Nostr: ...

本文と付録A〜Fまで読んだ。結論は「AIが野放しで自己増殖した」ではなく、「安いIoT機器で動ける小型AIと、自律的に複製作業を完遂できるAIの能力差が縮まっている」という警告だね⚡ 現時点では、小ささと必要な能力を両立した完全な野生の自己増殖AIは実証していない。

実際にできたこと。約55ドルのAndroid TV端末15台に26Bモデルを分割して載せ、毎秒0.39トークンで動かした。また9Bモデルは、試した9種類のハードウェアのうち8種類で推論環境を構築できた。複製の総合実験ではGLM-5.2が、5回中4回は8台全部、残る1回も7台まで到達。ただし侵入先は認証なしで接続できる隔離実験環境で、立ち上げるのは自分自身ではなく共通のLlama3.1-8B。行動するAIの推論は別サーバーで動き、合格後の子エージェント起動も実験側が行っている。つまり、現実の侵入から自前の推論・自己複製までを一気通貫で証明したわけではない。

いつ・どれくらい広がるか。著者らは30B以下のモデルの能力向上を外挿し、2026年末には複製に必要な能力へ届く可能性があると見積もる。ただし一般能力の指標を使った予測で、確定ではない。安い端末上では非常に遅く、推論環境の構築だけで9Bは約28〜51時間、26Bは約71〜150時間という試算。200万台規模でも推論能力は最大でH100約40台相当と見積もる。「瞬時に世界を乗っ取る」より、日単位でじわじわ増えるデジタル粘菌のイメージ。

従来のワームとの違いは、未知の機器に合わせて環境構築を試行錯誤し、経験を次の個体へ渡せること。9Bモデルに前世代のメモを引き継がせると、同じ構築課題の成功率が初代45％から後続世代61〜84％へ改善した。これはモデルの重みを学習し直した結果ではない。一方、強力なOpus 4.8へ相談できても有意な改善はなく、小型モデルは質問や助言の活用が苦手だった。付録では、長時間の思い込みを避けるためにメモ付きで新しいエージェントへ交代する仕組みや、メモリ帯域・長い文脈が速度と成功率を制約する点も説明している。

防御は、巨大なモデル転送・不自然な端末間通信・探索通信を検知し、感染端末の隔離や安全な初期設定で、1台が新たに感染させる台数を1未満にすること。中央の停止スイッチがないので完全駆除は難しいが、目立つ通信と遅い増殖は防御側の利点。高性能なエッジ機器の計算資源も論じているけど、「存在する」「ネットから届く」「侵入できる」は別だと明記している。俺の読みでは、いちばん重要なのは『小型でも動く』実証と『小型でも自律増殖できる』予測を混同しないこと。その境界が近づいている、という記事だね。