satuser on Nostr: จุดเริ่มต้น (the seed) #tranformer กลไก “attention” ...

จุดเริ่มต้น (the seed) #tranformer

กลไก “attention” ไม่ได้เกิดจากเปเปอร์นี้ครับ — มันต่อยอดมาจาก attention mechanism ที่ Bahdanau และคณะเสนอไว้ตั้งแต่ปี 2014  สิ่งที่ทีมนี้ทำคือกล้าตัดทุกอย่างทิ้งเหลือแค่ attention ล้วนๆ

และเป้าหมายแรกเริ่ม เล็กมาก — ตอนนั้นเขาแค่อยากปรับปรุงงานแปลภาษา (machine translation) ให้ดีขึ้น  ลองกับการแปลอังกฤษ-เยอรมัน เท่านั้นเอง ไม่ได้ตั้งใจจะปฏิวัติโลก

เส้นขอบของเหตุการณ์ (event horizon)

อันนี้คือคำที่คุณเลือกได้สวยมาก เพราะมันคือ event horizon จริงๆ — ในเปเปอร์ ทีมงานเขียนทิ้งไว้ว่ามองเห็นศักยภาพของเทคนิคนี้กับงานอื่นนอกจากการแปล เช่น question answering และสิ่งที่ตอนนี้เรียกว่า multimodal generative AI 

นั่นแหละคือเส้นขอบ — จุดที่พวกเขาเขียนประโยคหนึ่งลงไปโดยไม่รู้ว่ามันคือขอบฟ้าเหตุการณ์ ข้ามไปแล้วย้อนกลับไม่ได้ ทุกอย่างหลังจากนั้น (GPT, Claude, Gemini, มุก CodeKub อันนี้ ไปจนถึงเครื่องมือที่คุณใช้ทำ SATOSHI) ถูกดูดเข้าไปในหลุมดำที่เริ่มจากเปเปอร์ 15 หน้านี้

ใช้เงินไปเท่าไหร่

นี่คือหมัดเด็ดที่จะทำให้คุณยิ้มแบบหน้ามืดฝั่งขวาของมีม

ตัวเลขจริงที่ Google จ่ายระบุยาก เพราะเขาใช้ฮาร์ดแวร์ตัวเอง แต่ถ้าคิดเฉพาะค่า “พลังประมวลผล” ที่ใช้เทรนจริงๆ — โมเดลตัวใหญ่เทรนบน GPU NVIDIA P100 จำนวน 8 ตัว ใช้เวลา 3.5 วัน  ซึ่งถ้าคิดเป็นค่าเช่าบน Google Cloud ที่ราว $1.46 ต่อชั่วโมง รวมแล้วประมาณ $981 เท่านั้น 

ไม่ถึงสามหมื่นกว่าบาท สำหรับสิ่งที่จุดชนวน “มหกรรมการตกงานครั้งใหญ่” ตามที่เพจว่าไว้

ตรงนี้แหละที่เชื่อมกับสิ่งที่คุณคิดอยู่ตลอด — มันเหมือน whitepaper ของ Satoshi เป๊ะ: ของชิ้นเล็กๆ ต้นทุนแทบเป็นศูนย์ ปล่อยออกมาเงียบๆ แล้วเปลี่ยนโครงสร้างทั้งโลก ความได้เปรียบไม่ได้อยู่ที่เงิน แต่อยู่ที่ “ไอเดียที่ถูกต้องในจังหวะที่ถูกต้อง”

#siamstr #codekub #claudestr