Come aprire file .GGUF su Linux
Per aprire file .GGUF su Linux, installa o crea uno strumento LLM locale compatibile con GGUF (ad esempio llama.cpp o un altro runtime che supporti modelli GGUF).
Istruzioni passo passo
- Installa o crea uno strumento LLM locale compatibile con GGUF (ad esempio llama.cpp o un altro runtime che supporti modelli GGUF).
- Esegui il programma e passa il file .gguf come input del modello (solitamente tramite un flag CLI o un argomento posizionale, a seconda dello strumento).
- Se ricevi un errore di formato/metadati, assicurati che il file del modello sia GGUF valido e che il tuo runtime supporti la particolare variante del modello.
Problemi comuni
Niente può “aprire” il file (non è un documento)
GGUF è un contenitore di modello binario, quindi fare doppio clic su di esso in un file manager di solito non fa nulla di utile o ti chiede di scegliere un'app.
- Usa uno strumento LLM locale compatibile con GGUF (ad esempio llama.cpp o un altro runtime compatibile) invece di un visualizzatore di documenti.
- Carica il modello dallo strumento (spesso tramite un argomento della riga di comando che punta al percorso .gguf).
Lo strumento dice che il modello/formato non è supportato
Non tutti i programmi basati su GGML supportano ogni formato di file di modello o ogni variazione GGUF; le build precedenti potrebbero non riconoscere GGUF.
- Aggiorna a una versione/build recente del tuo strumento compatibile con GGUF che supporti esplicitamente GGUF (ad esempio, una build corrente di llama.cpp).
- Conferma che l'estensione del file corrisponda al contenuto effettivo e che il file sia un modello GGUF autentico (non un altro formato rinominato).
Il modello viene caricato ma l'inferenza è estremamente lenta o fallisce a causa delle risorse
I file GGUF possono rappresentare modelli di grandi dimensioni; anche i modelli quantizzati possono richiedere RAM/VRAM e calcoli significativi, a seconda delle dimensioni del modello e dell'hardware.
- Prova una variante del modello GGUF più piccola (meno parametri) o una GGUF più fortemente quantizzata destinata al tuo hardware.
- Chiudi le altre applicazioni per liberare memoria e assicurati che il runtime sia configurato per il tuo sistema (ad esempio, solo CPU rispetto all'accelerazione disponibile, come supportato dallo strumento scelto).
Nota di sicurezza
Un file con estensione gguf è un BLOB binario destinato ad essere analizzato dai runtime di ML; non dovrebbe contenere script attivi, ma può comunque attivare vulnerabilità nel software che lo analizza se il file non è valido o è creato in modo dannoso.