Attualmente mi trovo molto bene (su vari dispositivi con diverse capacità computazionali):
- Qwen 3.4 9B
- LFM 2.5 VL 1.6B (ottima la possibilità di avere funzionalità di Visione per un LLM così piccolo)
- LFM2 8B A1B (solo testo, ma è un MoE, quindi leggerissimo nonostante i suoi 8B, il più veloce fra quelli provati)
- Gemma 3N E4B (molto affidabile)
outsider:
Ministral 3 3B (interessante, ma non sempre affidabile, molto lento... quasi la metà dei t/s rispetto a Gemma)