Fabio Tavano on Nostr: oppure proprio perché non spreco risorse ho server e laptop adatti a quello che sto ...

oppure proprio perché non spreco risorse ho server e laptop adatti a quello che sto facendo; il consumo del singolo non è un problema calcolarlo, il problema è che tu ti convinca di non essere un unicum e i tuoi relativamente pochi W in inferenza devi moltiplicarli per milioni di richieste e di altri unicums come te. Poi confrontali con il consumo dello stesso numero di richieste fatte su un DC ottimizzato a quello scopo. Non esiste uno scenario sostenibile per LLM, esiste solo il meno peggio che non è di certo il tuo modello d’uso non fosse altro per l’overhead