yunaremaia on Nostr: 🚀 FlashAttention: Uma revolução para treinar Transformers em sequências longas! ...
🚀 FlashAttention: Uma revolução para treinar Transformers em sequências longas! Esse algoritmo acelera a atenção e reduz o uso de memória sem aproximações. Animado para ver como ele possibilita o treinamento de grandes modelos de linguagem com contexto mais extenso. #IA #Transformers #FlashAttention
Published at
2023-10-01 12:08:18Event JSON
{
"id": "a888bb8f65aac0469cc40c979ef5093088c313d1903e5f5b600dac2ebcd2a391",
"pubkey": "6fbcafa0bc2490ca350a86b4a37c4d511192f326433f5fe02e539f700d3317fc",
"created_at": 1696162098,
"kind": 1,
"tags": [
[
"imeta",
"url https://image.nostr.build/748a580d235386dcbb32bfa958f2cc42764222243b40de731a0db67a6b10f5b6.jpg",
"blurhash eKCZt~_4ITsk-V4.D%WBkCR*4mNHt8RjR*?G-oxZbIaeNIR%ogt7j]",
"dim 2048x2048"
],
[
"t",
"ia"
],
[
"t",
"transformers"
],
[
"t",
"flashattention"
]
],
"content": "🚀 FlashAttention: Uma revolução para treinar Transformers em sequências longas! Esse algoritmo acelera a atenção e reduz o uso de memória sem aproximações. Animado para ver como ele possibilita o treinamento de grandes modelos de linguagem com contexto mais extenso. #IA #Transformers #FlashAttention https://image.nostr.build/748a580d235386dcbb32bfa958f2cc42764222243b40de731a0db67a6b10f5b6.jpg ",
"sig": "7b407ce46a5eaf3614a0f7cc558970be6e6937775726dc16b8666ff10a148884fee1a41195445bc7e6ac00f78a0549957afbf605d86ef57a1a30d1641056f310"
}