Direkt zum Hauptinhalt

PDF-Split für Sammel-Dokumente

Gescannte Sammel-PDFs (mehrere Dokumente in einer Datei) werden über die Split-Vorschaltstufe automatisch in Einzeldokumente zerlegt und anschließend regulär importiert. Die Stufe läuft vor der normalen Import-Pipeline.

Funktionsprinzip

Das Wurzelverzeichnis Split:SplitPath spiegelt die normale Import-Verzeichnisstruktur. Eine Sammel-PDF wird seitenweise analysiert; jedes erkannte Einzeldokument landet als eigenständige PDF im entsprechenden Unterverzeichnis von ImportPath:

C:\Archivimport-Split\          <- SplitPath
  Belege\
    Lieferschein\
      sammel.pdf                <- Sammel-PDF mit 3 Lieferscheinen

nach Split:

C:\Archivimport\                <- ImportPath
  Belege\
    Lieferschein\
      12000-1.pdf               <- Einzeldokument (Identifier aus Barcode/OCR)
      20100-5.pdf
      20100-5_2.pdf             <- Duplikat-Identifier: Zähler-Suffix (_2, _3, ...)

C:\Archivimport-Split\
  Belege\
    Lieferschein\
      Erfolgreich\
        sammel.pdf              <- die Sammel-PDF selbst, nach dem Zerlegen verschoben

Die Sammel-PDF wird wie eine regulär verarbeitete Datei behandelt: vor dem Zerlegen wandert sie in das Arbeitsverzeichnis InArbeit (konfigurierbar via WorkFolder) — scheitert dieses Verschieben, weil die Datei noch im Zugriff ist, wird sie nicht gesplittet und der nächste Lauf versucht es erneut (verhindert doppelt importierte Einzeldokumente). Nach dem Zerlegen wandert sie innerhalb von SplitPath in das Unterverzeichnis Erfolgreich bzw. bei einem Fehler nach Fehler (dieselben Parameter SuccessFolder/ErrorFolder wie beim Import). Welche Dateien als Sammel-Dokument aufgegriffen werden, entscheiden dieselben Dateifilter wie beim regulären Import — der globale FileFilter und die Filter der Objekttypen.

Trennstrategien

Strategie Funktionsweise
Barcode Eine Seite mit erkennbarem Barcode/QR-Code beginnt ein neues Dokument. Der dekodierte Wert ist der Identifier. Folgeseiten ohne Barcode gehören zum vorherigen Dokument. Die Erkennung läuft zweistufig: erst auf dem Rohbild, bei Fehlschlag auf dem vorverarbeiteten Bild (Graustufen → Weichzeichner → Schwellwert), damit gerasterte Balken realer Scans lesbar werden.
Ocr PaddleOCR erkennt den Seitentext; eine konfigurierte Regex trifft den Dokumentstart und liefert den Identifier über eine benannte Gruppe (nummer, belegkey, belegnummer) oder Gruppe 1.
BarcodeMitTextRueckfall Je Seite Barcode, ohne gültigen Barcode die Lieferscheinnummer aus dem Seitentext (PaddleOCR). Für Rückläufer, deren Barcode nicht auf jedem Scan lesbar ist. Erfordert Segmentierung = Wechsel.

Wichtig: Seiten, die vor dem ersten erkannten Dokumentstart liegen (kein Barcode/Treffer), führen dazu, dass die gesamte Sammel-PDF in den Fehler-Ordner verschoben wird.

Segmentierung: JederTreffer oder Wechsel

Split:Segmentierung legt fest, wann eine Seite mit erkanntem Identifier ein neues Dokument beginnt:

  • JederTreffer (Vorgabe, bisheriges Verhalten): Jede Seite mit Identifier beginnt ein neues Dokument. Richtig, wenn die Nummer nur auf der ersten Seite steht (Barcode als Trennblatt oder Kopfbarcode).
  • Wechsel: Ein neues Dokument beginnt nur, wenn der Identifier vom laufenden Dokument abweicht. Nötig, wenn die Nummer auf jeder Seite steht (Text-Erkennung) — sonst würde jede Seite zum eigenen Dokument. Zwei Exemplare desselben Lieferscheins direkt hintereinander werden dabei ein Dokument.

Mit Split:Ocr:Startmerkmal (optionale Regex) zählt ein Texttreffer nur dann als Dokumentstart, wenn die Seite zusätzlich das Merkmal enthält — etwa die Seitenangabe „Seite 1/…“ der ersten Seite. Eine auf einer Folgeseite falsch gelesene Ziffer eröffnet so kein eigenes Dokument; ein Treffer ohne Startmerkmal gilt als Folgeseite. Zwei Fälle bleiben ohne Seitenmerkmal unentscheidbar und erscheinen deshalb als Warnung im Log: eine abweichende Nummer auf einer Seite ohne Startmerkmal (die Seite bleibt Folgeseite, „bitte Trennung prüfen“) und eine erste Seite ohne Barcode und ohne Startmerkmal („Stapel beginnt evtl. mitten in einem Dokument“).

Die Strategie BarcodeMitTextRueckfall (Kernbibliothek Meso.Dokument.Split ab 1.1.0) rendert jede Seite einmal (mit Split:Barcode:RenderDpi) und liest zuerst den Barcode; nur Seiten ohne gültigen Barcode gehen durch die OCR. Ein übersehener Barcode legt Lieferscheine damit nicht mehr still zusammen, sondern wird über den Seitentext aufgefangen. Bei Wechsel müssen Barcodewert und Textnummer exakt übereinstimmen (gleiches Format, kein Normalisieren), sonst teilt schon der Wechsel zwischen beiden Quellen ein Dokument; Split:Barcode:IdentifierRegex (z.B. ^\d{8}$) legt das Format fest und verwirft Fehllesungen — der Dienst warnt beim Start, wenn sie bei BarcodeMitTextRueckfall leer ist.

Beispiel „Unterschriebene Lieferscheine (POD)“ — Rückläufer, deren Barcode (CODE_39) nicht auf jedem Scan lesbar ist, mit der Lieferscheinnummer im Seitentext und der Seitenangabe „Seite 1/n“ auf der ersten Seite:

"Split": {
  "Enabled": true,
  "SplitPath": "C:\\Archivimport-Split",
  "Zielpfad": "\\\\fileserver\\eingang",
  "Strategie": "BarcodeMitTextRueckfall",
  "Segmentierung": "Wechsel",
  "Barcode": {
    "Symbologien": ["CODE_39"],
    "IdentifierRegex": "^\\d{8}$",
    "Vorverarbeitung": { "Aktiv": true, "WeichzeichnerSigma": 2.0, "Schwellwert": 150 },
    "RenderDpi": 400
  },
  "Ocr": {
    "Regex": "Lieferschein\\s*(?<nummer>\\d{8})",
    "Startmerkmal": "Seite\\s*1\\s*/|(?<![\\d.])1\\s*/\\s*\\d+\\s+Seite",
    "Rotationserkennung": false,
    "Sprache": "german",
    "RenderDpi": 300
  }
}

Das Startmerkmal hat zwei Alternativen, damit es von der Lesereihenfolge unabhängig ist: PaddleOCR liefert die Seitenangabe teils umgekehrt („1/ 2 Seite“ statt „Seite 1/ 2“); die zweite Alternative fängt das ab (ohne vorangestellte Ziffer oder Punkt, damit „11/ 2“ nicht trifft). Hier gilt Split:Barcode:RenderDpi (400); Split:Ocr:RenderDpi wird bei BarcodeMitTextRueckfall nicht ausgewertet.

Laufzeit (Richtwerte aus einem Probelauf im Demomodus an einem echten 7-seitigen Rücklauf-Stapel, Segmente 1–2 / 3–5 / 6–7): Im Normalbetrieb dauerte der Stapel 47,8 s — Seiten mit lesbarem Barcode 1,7–2,7 s, Seiten über den Text-Rückfall 8,6–12 s. Bei erzwungenem Text-Rückfall für alle Seiten waren es 8,5–15,4 s je Seite bei gleichen Segmenten. Der Text-Rückfall ist also deutlich teurer als der Barcode und springt nur dort an, wo der Barcode fehlt; die Laufzeit je Datei steht im Log.

OCR-Hinweise: Das Modellpaket Sdcb.PaddleOCR.Models.LocalV5 ist jetzt explizit gepinnt (das lateinische Modell fehlte zuvor, die OCR-Strategie konnte nicht starten; das ZIP wird dadurch etwa 95 MB größer). Die Rotationserkennung der OCR (Split:Ocr:Rotationserkennung) ist standardmäßig aus: Eingeschaltet zerlegte sie waagerechten Text echter Lieferschein-Scans in Zeichensalat. Nur für Vorlagen mit senkrechtem Text einschalten; der Wert wird wie Split:Ocr:Sprache beim ersten OCR-Aufruf gelesen; Änderungen danach wirken erst nach Neustart.

Barcode-Erkennung: Symbologien, Vorverarbeitung, Identifier-Muster

Die Barcode-Erkennung kommt aus der Bibliothek Meso.Dokument.Split (privater GitHub-Feed), die auch das MESO WebArchiv nutzt. Drei Einstellungen entscheiden über die Trefferqualität:

  • Split:Barcode:Symbologien — die erwartete Symbologie immer explizit setzen (z.B. ["CODE_39"]). Eine leere Liste bedeutet nicht mehr „alle Formate“, sondern die Standardauswahl der Bibliothek (QR_CODE, DATA_MATRIX, AZTEC, PDF_417, CODE_128, CODE_39, CODE_93, EAN_13, EAN_8, UPC_A, UPC_E). Prüfsummenfreie 1D-Formate (ITF, CODABAR, RSS_14, RSS_EXPANDED, MSI, PLESSEY, PHARMA_CODE, IMB, MAXICODE, UPC_EAN_EXTENSION) fehlen dort bewusst: Sie lasen auf gescannten Belegen Tabellenlinien und Rasterflächen als Barcode und erzeugten so still Dokumente mit erfundenen Belegnummern. Wer eines dieser Formate braucht, trägt es explizit ein. Bei leerer Liste warnt der Dienst beim Start. Eine engere Liste ist zusätzlich ein Hebel für den Durchsatz: Je weniger Formate geprüft werden, desto schneller ist eine barcodefreie Seite erkannt — die Erkennung läuft pro Seite ohne Treffer zweimal (Rohbild, dann vorverarbeitetes Bild), jeweils über alle konfigurierten Formate.
  • Split:Barcode:Vorverarbeitung — standardmäßig aktiv. Gerasterte (Halbton-)Balken bei 200 dpi werden ohne Vorverarbeitung gar nicht gelesen; Weichzeichner (Sigma 2,0) und Schwellwert (150) machen sie lesbar. Die Werte stammen aus der Messung an realen Scans. RenderDpi liegt deshalb jetzt bei 300 (vorher 200); für schwierige Scans wurden 400 dpi gemessen. Bei stark gerasterten Balken löscht der Weichzeichner Module aus, die im gerenderten Bild schmaler als etwa 8 Pixel sind — deshalb höher rendern (300–400 dpi) statt Sigma oder Schwellwert abzusenken.
  • Split:Barcode:IdentifierRegex — optionales Muster für plausible Identifier (z.B. ^\d{8}$ für achtstellige Lieferscheinnummern). Ein Barcode ohne Treffer wird verworfen und protokolliert; die Seite gilt als Folgeseite. Enthält das Muster Gruppen (nummer, belegkey, belegnummer oder Gruppe 1), wird der Teilwert zum Identifier.

Die Laufzeit der Erkennung steht je Datei im Log (Erkennung abgeschlossen: … Seite(n) in … ms); die Vorverarbeitung kostet nur dort Zeit, wo das Rohbild keinen Treffer liefert.

Lässt sich die Strategie aus der Konfiguration nicht aufbauen (z.B. ein ungültiges Split:Barcode:IdentifierRegex nach einem Hot-Reload), wird das als Fehler protokolliert, die Datei bleibt unangetastet und wird beim nächsten Lauf erneut versucht; der Validator fängt einen solchen Fehler beim Start normalerweise bereits ab.

Verhalten im Demomodus

Erkannte Segmente werden protokolliert ([DEMO]), aber es werden keine Einzeldateien geschrieben und die Sammel-PDF wird nicht verschoben.

Nur zerlegen, nicht importieren (Split:Zielpfad)

Ist Split:Zielpfad gesetzt, landen die Einzel-PDFs dort statt unter ImportPath — am gleichen relativen Unterpfad wie die Sammel-PDF unter SplitPath. Der Importer zerlegt dann nur und archiviert die Einzeldokumente nicht selbst. Typischer Einsatz: Ein überwachter Eingangsordner des MESO WebArchiv übernimmt die Einzeldokumente, und dessen Pipeline erkennt Lieferant und Lieferscheinnummer, ordnet das Dokument dem WinLine-Beleg zu und archiviert es (z.B. gescannte Lieferantenlieferscheine).

C:\Archivimport-Split\Wareneingang\stapel.pdf        <- Sammel-PDF (SplitPath)
D:\Eingang\Wareneingang\LS-4711.pdf                 <- Einzeldokument (Split:Zielpfad = D:\Eingang)

Im WebArchiv ist dann Eingangsordner:BasisPfad = D:\Eingang und das Eingangsordner-Profil hat den Unterordner Wareneingang. Den Zielordner verwaltet ab dort das WebArchiv (eigene Ordner InArbeit/Erfolgreich/ Fehler); Systemordner, Rückholung und Dateifilter des Importers greifen dort nicht. Split:Zielpfad muss existieren und darf weder gleich SplitPath sein noch darin liegen (die Split-Stufe würde ihre Einzel-PDFs sonst erneut zerlegen) — und umgekehrt. Leer (Standard) = bisheriges Verhalten.