Dragone2 :linuxmint: on Nostr: beh, se non hai una scheda video dedicata recente, è normale purtroppo. Diciamo che ...

beh, se non hai una scheda video dedicata recente, è normale purtroppo. Diciamo che per quello che ho visto, dalla fascia media (es. RTX 4050) di NVIDIA si riesce a far girare LLM piccoli, come Gemma 4. Ovviamente se pretendi di eseguire LLM grandi, con tanti parametri ti andranno sempre lenti, ma se usi un LLM che sta dentro la VRAM della tua GPU, non ha problemi. Ti consiglio di dare un’occhiata a whichllm, un tool su GitHub