Har ett 5060 Ti med 16GB VRAM och mycket vanligt RAM i burken. Får bra hastighet med t.ex Gemma 4 för kodning och opencode som kodnings-cli.
I min hemserver sitter ett A2000 med 12GB VRAM och taggar just nu upp hela familjens fotosamling (5 beskrivande taggar samt alt-text) med en Qwen bildigenkänningsmodell. Drar ~65W och det är det väl värt för det hade jag _aldrig_ pallat med att göra manuellt :D
Utvecklingen är snabb så samma hårdvara kommer kunna göra än mer om några månader. Tror inte riktigt på cloud-LLM för "gemene man".
Troed Sångberg
npub14z…6pf4e
2026-04-20 07:44:48 UTC
in reply to nevent1q…fskn
Author Public Key
npub14zw2ur5z5hf6wc2rysu658rsdtvv3zvxxwn2m9sa5zm7x4ypktrqp6pf4eSeen on
wss://relay.momostr.pinkPublished at
2026-04-20 07:44:48 UTCEvent JSON
{
"id": "b24fe7bc1b25ac88a0482bd777bf1ec5e24fc6ecf1485d65edb7c1ebe05689a8",
"pubkey": "a89cae0e82a5d3a761432439aa1c706ad8c8898633a6ad961da0b7e35481b2c6",
"created_at": 1776671088,
"kind": 1,
"tags": [
[
"e",
"58ca153cf5f46a397840b0d79891073b29f8c64832bb4668e1f1446184e131d8",
"",
"root",
"61dcf32dc1d99e022b11dd599172ea7b477f88a31d07feaba9f4580c5699c184"
],
[
"e",
"f7d93df2c5f04107223252746a1db64bdab3ff792f5b377759b9b55b0801fc74",
"",
"reply",
"61dcf32dc1d99e022b11dd599172ea7b477f88a31d07feaba9f4580c5699c184"
],
[
"proxy",
"https://masto.sangberg.se/@troed/116435916457055260",
"web"
],
[
"p",
"61dcf32dc1d99e022b11dd599172ea7b477f88a31d07feaba9f4580c5699c184"
],
[
"p",
"a89cae0e82a5d3a761432439aa1c706ad8c8898633a6ad961da0b7e35481b2c6"
],
[
"proxy",
"https://masto.sangberg.se/users/troed/statuses/116435916457055260",
"activitypub"
],
[
"L",
"pink.momostr"
],
[
"l",
"pink.momostr.activitypub:https://masto.sangberg.se/users/troed/statuses/116435916457055260",
"pink.momostr"
],
[
"-"
]
],
"content": "Har ett 5060 Ti med 16GB VRAM och mycket vanligt RAM i burken. Får bra hastighet med t.ex Gemma 4 för kodning och opencode som kodnings-cli. \n\nI min hemserver sitter ett A2000 med 12GB VRAM och taggar just nu upp hela familjens fotosamling (5 beskrivande taggar samt alt-text) med en Qwen bildigenkänningsmodell. Drar ~65W och det är det väl värt för det hade jag _aldrig_ pallat med att göra manuellt :D\n\nUtvecklingen är snabb så samma hårdvara kommer kunna göra än mer om några månader. Tror inte riktigt på cloud-LLM för \"gemene man\".",
"sig": "69715d1610b077adcbefe5af93382bcc714bcfb241d0b63a60c4b3fc45df7699fc57bdaeed31d3cdfa41f97305b0fc13505048dbd1e21a397f1882162eb25921"
}