.NDJSON Dateiendung

„JSON-Analysefehler“ bei Verwendung eines normalen JSON-Parsers

Viele JSON-Parser erwarten ein einzelnes JSON-Dokument (häufig ein Objekt oder ein Array). Eine NDJSON-Datei enthält mehrere durch Zeilenumbrüche getrennte JSON-Texte, sodass ein Parser, der ein Dokument erwartet, möglicherweise nach der ersten Zeile fehlschlägt.

1. Bestätigen Sie, dass es sich bei der Datei um NDJSON handelt: Jede Zeile sollte ein vollständiger JSON-Wert sein (normalerweise ein Objekt).
2. Verwenden Sie einen Reader/Parser, der NDJSON/durch Zeilenumbrüche getrenntes JSON (zeilenweises JSON-Streaming) unterstützt, oder teilen Sie die Datei nach Zeilen auf und analysieren Sie jede Zeile separat.

Eine Zeile ist kein gültiger JSON-Code, wodurch die Verarbeitung teilweise unterbrochen wird

NDJSON erfordert, dass jeder Datensatz in einer einzelnen Zeile gültiges JSON ist. Wenn ein Datensatz einen Zeilenumbruch ohne Escapezeichen innerhalb einer Zeichenfolge enthält oder die Zeile abgeschnitten/beschädigt ist, schlagen die Tools möglicherweise in dieser Zeile fehl.

1. Suchen Sie die fehlerhafte Zeilennummer (viele Tools melden dies) und überprüfen Sie diese bestimmte Zeile in einem Texteditor.
2. Korrigieren oder entfernen Sie den fehlerhaften Datensatz. Stellen Sie sicher, dass eingebettete Zeilenumbrüche in Zeichenfolgen ordnungsgemäß maskiert werden und jeder JSON-Wert in einer Zeile bleibt.

Die Datei wird als einfacher Text geöffnet, sieht aber „unformatiert“ oder schwer lesbar aus

NDJSON ist eher für Streaming als für menschliche Lesbarkeit optimiert. Jede Zeile kann im minimierten JSON-Format ohne Einrückung vorliegen.

1. Verwenden Sie einen Texteditor mit JSON-Formatierungsfunktionen, um einzelne Zeilen hübsch zu drucken (Datensatz für Datensatz).
2. Wenn Sie ein einzelnes JSON-Dokument benötigen, konvertieren Sie die Zeilen mit einem Tool/Workflow, das NDJSON liest und Standard-JSON ausgibt, in ein JSON-Array.

Falsche Erwartungen an den Inhaltstyp/MIME-Typ in einer API oder Pipeline

NDJSON verwendet üblicherweise den Medientyp application/x-ndjson gemäß der ndjson-Spezifikation, dies ist jedoch kein von der IANA registrierter Subtyp; Einige Systeme erwarten möglicherweise etwas anderes oder behandeln es als generischen Text.

1. Wenn Sie den Absender steuern, legen Sie Content-Type auf application/x-ndjson fest, wenn Sie mit Systemen interagieren, die die ndjson-spec-Konvention erkennen.
2. Wenn Sie eine standardisierte Alternative für das Streaming von JSON benötigen, ziehen Sie RFC 7464 JSON Text Sequences (application/json-seq) in Betracht, sofern dies unterstützt wird.

Ist NDJSON dasselbe wie JSON?

Es verwendet dieselbe JSON-Syntax, aber eine NDJSON-Datei enthält mehrere JSON-Texte, die durch Zeilenumbrüche getrennt sind (einer pro Zeile). Eine typische .json-Datei enthält normalerweise ein JSON-Dokument (häufig ein Objekt oder ein Array).

Welchen MIME-Typ sollte ich für .ndjson verwenden?

Die ndjson-spec empfiehlt application/x-ndjson. Dies ist eine weit verbreitete Konvention, es handelt sich jedoch nicht um einen von der IANA registrierten Medientyp-Subtyp (im Gegensatz zu application/json-seq von RFC 7464 für JSON-Textsequenzen).

Warum exportiert Kibana .ndjson?

Der Export gespeicherter Kibana-Objekte von Elastic verwendet NDJSON, sodass jede Zeile ein einzelnes Dokument ist, was das Streamen, Importieren und Verarbeiten von Datensätzen nacheinander vereinfacht.

Was ist die standardisierte Alternative zum Streamen von JSON-Sequenzen?

RFC 7464 definiert „JSON-Textsequenzen“ mit dem Medientyp application/json-seq. Es verwendet einen anderen Framing-Ansatz als NDJSON und ist über den RFC standardisiert.