Come aprire file .AVRO su Linux
Per aprire file .AVRO su Linux, utilizza Apache Spark e leggi il file utilizzando l'origine dati Avro (Spark supporta Avro come formato).
Istruzioni passo passo
- Utilizza Apache Spark e leggi il file utilizzando l'origine dati Avro (Spark supporta Avro come formato).
- Per un'opzione locale leggera, utilizza DuckDB con l'estensione Avro ed esegui query sul file tramite il lettore Avro di DuckDB.
- Negli ambienti Hadoop/Hive, definisci le tabelle supportate da Avro utilizzando AvroSerDe/AvroContainerInputFormat di Hive per lavorare con i file contenitore .avro.
Problemi comuni
Il file non si aprirà in un foglio di calcolo o in un visualizzatore "normale".
Avro è un formato contenitore/serializzazione binario progettato per la lettura programmatica e non per l'ispezione manuale come CSV/JSON.
- Aprilo con uno strumento che comprenda Avro (ad esempio, l'origine dati Avro di Apache Spark o DuckDB con l'estensione Avro).
- Se hai bisogno di un modulo leggibile dall'uomo, caricalo in Spark o DuckDB e quindi esporta/interroga in un formato più visualizzabile (ad esempio, visualizza i risultati della query).
Mancata corrispondenza dello schema o del campo durante la lettura
Avro si affida a schemi; se un lettore si aspetta campi/tipi diversi da quelli forniti dallo schema incorporato del file, puoi vedere campi mancanti, errori di tipo o valori null imprevisti.
- Conferma che il file sia un file contenitore di oggetti Avro (dovrebbe incorporare il relativo schema nell'intestazione secondo la specifica Avro).
- Nel tuo strumento (Spark/Hive/DuckDB), leggi prima utilizzando lo schema memorizzato nel file; applicare uno schema esterno/previsto solo dopo aver verificato la compatibilità.
Spark non può leggere/scrivere Avro a causa della mancanza di supporto
In Spark, il supporto Avro viene fornito tramite la relativa origine dati Avro; se nel tuo ambiente manca il componente/la configurazione richiesta, le letture potrebbero non riuscire.
- Verifica di utilizzare l'origine dati Avro di Spark come documentato (format="avro" / org.apache.spark.sql.avro).
- Verifica che la tua distribuzione/ambiente Spark includa il supporto Avro come descritto nella guida all'origine dati Spark Avro.
DuckDB non può leggere il file perché l'estensione Avro non è abilitata
DuckDB legge Avro tramite la sua estensione Avro; se non è installato/caricato, le funzioni Avro non saranno disponibili.
- Installa e carica l'estensione Avro di DuckDB come descritto nella documentazione dell'estensione Avro di DuckDB.
- Utilizza il lettore Avro di DuckDB (ad esempio, l'approccio documentato read_avro) per interrogare il file .avro.
Nota di sicurezza
I file Avro sono in genere file contenitore binari; trattare i file .avro provenienti da fonti non attendibili come potenzialmente rischiosi per le vulnerabilità del parser nel software che li legge (Spark/Hive/DuckDB o qualsiasi libreria Avro).