Come aprire file .GGUF su Windows
Per aprire file .GGUF su Windows, installa o scarica uno strumento LLM locale compatibile con GGUF (ad esempio llama.cpp o un altro runtime desktop che supporti modelli GGUF).
Istruzioni passo passo
- Installa o scarica uno strumento LLM locale compatibile con GGUF (ad esempio llama.cpp o un altro runtime desktop che supporti modelli GGUF).
- Esegui lo strumento e fornisci il percorso del file modello .gguf (per llama.cpp, in genere questa operazione viene eseguita passando il file modello come argomento della riga di comando).
- Se lo strumento segnala un modello o un formato non supportato, verifica che la versione dello strumento supporti GGUF e che il modello sia effettivamente un file GGUF.
Problemi comuni
Niente può “aprire” il file (non è un documento)
GGUF è un contenitore di modello binario, quindi fare doppio clic su di esso in un file manager di solito non fa nulla di utile o ti chiede di scegliere un'app.
- Usa uno strumento LLM locale compatibile con GGUF (ad esempio llama.cpp o un altro runtime compatibile) invece di un visualizzatore di documenti.
- Carica il modello dallo strumento (spesso tramite un argomento della riga di comando che punta al percorso .gguf).
Lo strumento dice che il modello/formato non è supportato
Non tutti i programmi basati su GGML supportano ogni formato di file di modello o ogni variazione GGUF; le build precedenti potrebbero non riconoscere GGUF.
- Aggiorna a una versione/build recente del tuo strumento compatibile con GGUF che supporti esplicitamente GGUF (ad esempio, una build corrente di llama.cpp).
- Conferma che l'estensione del file corrisponda al contenuto effettivo e che il file sia un modello GGUF autentico (non un altro formato rinominato).
Il modello viene caricato ma l'inferenza è estremamente lenta o fallisce a causa delle risorse
I file GGUF possono rappresentare modelli di grandi dimensioni; anche i modelli quantizzati possono richiedere RAM/VRAM e calcoli significativi, a seconda delle dimensioni del modello e dell'hardware.
- Prova una variante del modello GGUF più piccola (meno parametri) o una GGUF più fortemente quantizzata destinata al tuo hardware.
- Chiudi le altre applicazioni per liberare memoria e assicurati che il runtime sia configurato per il tuo sistema (ad esempio, solo CPU rispetto all'accelerazione disponibile, come supportato dallo strumento scelto).
Nota di sicurezza
Un file con estensione gguf è un BLOB binario destinato ad essere analizzato dai runtime di ML; non dovrebbe contenere script attivi, ma può comunque attivare vulnerabilità nel software che lo analizza se il file non è valido o è creato in modo dannoso.