PDF-Split für Sammel-Dokumente
Gescannte Sammel-PDFs (mehrere Dokumente in einer Datei) werden über die Split-Vorschaltstufe automatisch in Einzeldokumente zerlegt und anschließend regulär importiert. Die Stufe läuft vor der normalen Import-Pipeline.
Funktionsprinzip
Das Wurzelverzeichnis Split:SplitPath spiegelt die normale Import-Verzeichnisstruktur. Eine Sammel-PDF wird seitenweise analysiert; jedes erkannte Einzeldokument landet als eigenständige PDF im entsprechenden Unterverzeichnis von ImportPath:
C:\Archivimport-Split\ <- SplitPath
Belege\
Lieferschein\
sammel.pdf <- Sammel-PDF mit 3 Lieferscheinen
nach Split:
C:\Archivimport\ <- ImportPath
Belege\
Lieferschein\
12000-1.pdf <- Einzeldokument (Identifier aus Barcode/OCR)
20100-5.pdf
20100-5_2.pdf <- Duplikat-Identifier: Zähler-Suffix (_2, _3, ...)
C:\Archivimport-Split\
Belege\
Lieferschein\
Erfolgreich\
sammel.pdf <- die Sammel-PDF selbst, nach dem Zerlegen verschoben
Die Sammel-PDF wird wie eine regulär verarbeitete Datei behandelt: vor dem Zerlegen wandert sie
in das Arbeitsverzeichnis InArbeit (konfigurierbar via WorkFolder) — scheitert dieses Verschieben,
weil die Datei noch im Zugriff ist, wird sie nicht gesplittet und der nächste Lauf versucht es erneut
(verhindert doppelt importierte Einzeldokumente). Nach dem Zerlegen wandert sie innerhalb von
SplitPath in das Unterverzeichnis Erfolgreich bzw. bei einem Fehler nach Fehler
(dieselben Parameter SuccessFolder/ErrorFolder wie beim Import). Welche Dateien als Sammel-Dokument
aufgegriffen werden, entscheiden dieselben Dateifilter wie beim regulären Import — der globale
FileFilter und die Filter der Objekttypen.
Trennstrategien
| Strategie | Funktionsweise |
|---|---|
Barcode |
Eine Seite mit erkennbarem Barcode/QR-Code beginnt ein neues Dokument. Der dekodierte Wert ist der Identifier. Folgeseiten ohne Barcode gehören zum vorherigen Dokument. Die Erkennung läuft zweistufig: erst auf dem Rohbild, bei Fehlschlag auf dem vorverarbeiteten Bild (Graustufen → Weichzeichner → Schwellwert), damit gerasterte Balken realer Scans lesbar werden. |
Ocr |
PaddleOCR erkennt den Seitentext; eine konfigurierte Regex trifft den Dokumentstart und liefert den Identifier über eine benannte Gruppe (nummer, belegkey, belegnummer) oder Gruppe 1. |
BarcodeMitTextRueckfall |
Je Seite Barcode, ohne gültigen Barcode die Lieferscheinnummer aus dem Seitentext (PaddleOCR). Für Rückläufer, deren Barcode nicht auf jedem Scan lesbar ist. Erfordert Segmentierung = Wechsel. |
Wichtig: Seiten, die vor dem ersten erkannten Dokumentstart liegen (kein Barcode/Treffer), führen dazu, dass die gesamte Sammel-PDF in den Fehler-Ordner verschoben wird.
Segmentierung: JederTreffer oder Wechsel
Split:Segmentierung legt fest, wann eine Seite mit erkanntem Identifier ein neues Dokument beginnt:
JederTreffer(Vorgabe, bisheriges Verhalten): Jede Seite mit Identifier beginnt ein neues Dokument. Richtig, wenn die Nummer nur auf der ersten Seite steht (Barcode als Trennblatt oder Kopfbarcode).Wechsel: Ein neues Dokument beginnt nur, wenn der Identifier vom laufenden Dokument abweicht. Nötig, wenn die Nummer auf jeder Seite steht (Text-Erkennung) — sonst würde jede Seite zum eigenen Dokument. Zwei Exemplare desselben Lieferscheins direkt hintereinander werden dabei ein Dokument.
Mit Split:Ocr:Startmerkmal (optionale Regex) zählt ein Texttreffer nur dann als Dokumentstart, wenn die Seite
zusätzlich das Merkmal enthält — etwa die Seitenangabe „Seite 1/…“ der ersten Seite. Eine auf einer Folgeseite
falsch gelesene Ziffer eröffnet so kein eigenes Dokument; ein Treffer ohne Startmerkmal gilt als Folgeseite.
Zwei Fälle bleiben ohne Seitenmerkmal unentscheidbar und erscheinen deshalb als Warnung im Log: eine abweichende
Nummer auf einer Seite ohne Startmerkmal (die Seite bleibt Folgeseite, „bitte Trennung prüfen“) und eine erste Seite
ohne Barcode und ohne Startmerkmal („Stapel beginnt evtl. mitten in einem Dokument“).
Die Strategie BarcodeMitTextRueckfall (Kernbibliothek Meso.Dokument.Split ab 1.1.0) rendert jede Seite
einmal (mit Split:Barcode:RenderDpi) und liest zuerst den Barcode; nur Seiten ohne gültigen Barcode gehen
durch die OCR. Ein übersehener Barcode legt Lieferscheine damit nicht mehr still zusammen, sondern wird über den
Seitentext aufgefangen. Bei Wechsel müssen Barcodewert und Textnummer exakt übereinstimmen (gleiches Format,
kein Normalisieren), sonst teilt schon der Wechsel zwischen beiden Quellen ein Dokument; Split:Barcode:IdentifierRegex
(z.B. ^\d{8}$) legt das Format fest und verwirft Fehllesungen — der Dienst warnt beim Start, wenn sie bei
BarcodeMitTextRueckfall leer ist.
Beispiel „Unterschriebene Lieferscheine (POD)“ — Rückläufer, deren Barcode (CODE_39) nicht auf jedem Scan lesbar ist, mit der Lieferscheinnummer im Seitentext und der Seitenangabe „Seite 1/n“ auf der ersten Seite:
"Split": {
"Enabled": true,
"SplitPath": "C:\\Archivimport-Split",
"Zielpfad": "\\\\fileserver\\eingang",
"Strategie": "BarcodeMitTextRueckfall",
"Segmentierung": "Wechsel",
"Barcode": {
"Symbologien": ["CODE_39"],
"IdentifierRegex": "^\\d{8}$",
"Vorverarbeitung": { "Aktiv": true, "WeichzeichnerSigma": 2.0, "Schwellwert": 150 },
"RenderDpi": 400
},
"Ocr": {
"Regex": "Lieferschein\\s*(?<nummer>\\d{8})",
"Startmerkmal": "Seite\\s*1\\s*/|(?<![\\d.])1\\s*/\\s*\\d+\\s+Seite",
"Rotationserkennung": false,
"Sprache": "german",
"RenderDpi": 300
}
}
Das Startmerkmal hat zwei Alternativen, damit es von der Lesereihenfolge unabhängig ist: PaddleOCR liefert die
Seitenangabe teils umgekehrt („1/ 2 Seite“ statt „Seite 1/ 2“); die zweite Alternative fängt das ab (ohne
vorangestellte Ziffer oder Punkt, damit „11/ 2“ nicht trifft). Hier gilt Split:Barcode:RenderDpi (400); Split:Ocr:RenderDpi wird bei
BarcodeMitTextRueckfall nicht ausgewertet.
Laufzeit (Richtwerte aus einem Probelauf im Demomodus an einem echten 7-seitigen Rücklauf-Stapel, Segmente 1–2 / 3–5 / 6–7): Im Normalbetrieb dauerte der Stapel 47,8 s — Seiten mit lesbarem Barcode 1,7–2,7 s, Seiten über den Text-Rückfall 8,6–12 s. Bei erzwungenem Text-Rückfall für alle Seiten waren es 8,5–15,4 s je Seite bei gleichen Segmenten. Der Text-Rückfall ist also deutlich teurer als der Barcode und springt nur dort an, wo der Barcode fehlt; die Laufzeit je Datei steht im Log.
OCR-Hinweise: Das Modellpaket Sdcb.PaddleOCR.Models.LocalV5 ist jetzt explizit gepinnt (das lateinische
Modell fehlte zuvor, die OCR-Strategie konnte nicht starten; das ZIP wird dadurch etwa 95 MB größer). Die
Rotationserkennung der OCR (Split:Ocr:Rotationserkennung) ist standardmäßig aus: Eingeschaltet zerlegte sie
waagerechten Text echter Lieferschein-Scans in Zeichensalat. Nur für Vorlagen mit senkrechtem Text einschalten;
der Wert wird wie Split:Ocr:Sprache beim ersten OCR-Aufruf gelesen; Änderungen danach wirken erst nach Neustart.
Barcode-Erkennung: Symbologien, Vorverarbeitung, Identifier-Muster
Die Barcode-Erkennung kommt aus der Bibliothek Meso.Dokument.Split (privater GitHub-Feed), die auch das
MESO WebArchiv nutzt. Drei Einstellungen entscheiden über die Trefferqualität:
Split:Barcode:Symbologien— die erwartete Symbologie immer explizit setzen (z.B.["CODE_39"]). Eine leere Liste bedeutet nicht mehr „alle Formate“, sondern die Standardauswahl der Bibliothek (QR_CODE, DATA_MATRIX, AZTEC, PDF_417, CODE_128, CODE_39, CODE_93, EAN_13, EAN_8, UPC_A, UPC_E). Prüfsummenfreie 1D-Formate (ITF,CODABAR,RSS_14,RSS_EXPANDED,MSI,PLESSEY,PHARMA_CODE,IMB,MAXICODE,UPC_EAN_EXTENSION) fehlen dort bewusst: Sie lasen auf gescannten Belegen Tabellenlinien und Rasterflächen als Barcode und erzeugten so still Dokumente mit erfundenen Belegnummern. Wer eines dieser Formate braucht, trägt es explizit ein. Bei leerer Liste warnt der Dienst beim Start. Eine engere Liste ist zusätzlich ein Hebel für den Durchsatz: Je weniger Formate geprüft werden, desto schneller ist eine barcodefreie Seite erkannt — die Erkennung läuft pro Seite ohne Treffer zweimal (Rohbild, dann vorverarbeitetes Bild), jeweils über alle konfigurierten Formate.Split:Barcode:Vorverarbeitung— standardmäßig aktiv. Gerasterte (Halbton-)Balken bei 200 dpi werden ohne Vorverarbeitung gar nicht gelesen; Weichzeichner (Sigma 2,0) und Schwellwert (150) machen sie lesbar. Die Werte stammen aus der Messung an realen Scans.RenderDpiliegt deshalb jetzt bei 300 (vorher 200); für schwierige Scans wurden 400 dpi gemessen. Bei stark gerasterten Balken löscht der Weichzeichner Module aus, die im gerenderten Bild schmaler als etwa 8 Pixel sind — deshalb höher rendern (300–400 dpi) statt Sigma oder Schwellwert abzusenken.Split:Barcode:IdentifierRegex— optionales Muster für plausible Identifier (z.B.^\d{8}$für achtstellige Lieferscheinnummern). Ein Barcode ohne Treffer wird verworfen und protokolliert; die Seite gilt als Folgeseite. Enthält das Muster Gruppen (nummer,belegkey,belegnummeroder Gruppe 1), wird der Teilwert zum Identifier.
Die Laufzeit der Erkennung steht je Datei im Log (Erkennung abgeschlossen: … Seite(n) in … ms); die
Vorverarbeitung kostet nur dort Zeit, wo das Rohbild keinen Treffer liefert.
Lässt sich die Strategie aus der Konfiguration nicht aufbauen (z.B. ein ungültiges Split:Barcode:IdentifierRegex
nach einem Hot-Reload), wird das als Fehler protokolliert, die Datei bleibt unangetastet und wird beim
nächsten Lauf erneut versucht; der Validator fängt einen solchen Fehler beim Start normalerweise bereits ab.
Verhalten im Demomodus
Erkannte Segmente werden protokolliert ([DEMO]), aber es werden keine Einzeldateien geschrieben und die Sammel-PDF wird nicht verschoben.
Nur zerlegen, nicht importieren (Split:Zielpfad)
Ist Split:Zielpfad gesetzt, landen die Einzel-PDFs dort statt unter ImportPath — am gleichen relativen
Unterpfad wie die Sammel-PDF unter SplitPath. Der Importer zerlegt dann nur und archiviert die Einzeldokumente
nicht selbst. Typischer Einsatz: Ein überwachter Eingangsordner des MESO WebArchiv übernimmt die
Einzeldokumente, und dessen Pipeline erkennt Lieferant und Lieferscheinnummer, ordnet das Dokument dem
WinLine-Beleg zu und archiviert es (z.B. gescannte Lieferantenlieferscheine).
C:\Archivimport-Split\Wareneingang\stapel.pdf <- Sammel-PDF (SplitPath)
D:\Eingang\Wareneingang\LS-4711.pdf <- Einzeldokument (Split:Zielpfad = D:\Eingang)
Im WebArchiv ist dann Eingangsordner:BasisPfad = D:\Eingang und das Eingangsordner-Profil hat den
Unterordner Wareneingang. Den Zielordner verwaltet ab dort das WebArchiv (eigene Ordner InArbeit/Erfolgreich/
Fehler); Systemordner, Rückholung und Dateifilter des Importers greifen dort nicht. Split:Zielpfad muss
existieren und darf weder gleich SplitPath sein noch darin liegen (die Split-Stufe würde ihre Einzel-PDFs
sonst erneut zerlegen) — und umgekehrt. Leer (Standard) = bisheriges Verhalten.
Keine Kommentare vorhanden
Keine Kommentare vorhanden