PDF Redaction

Biblioteka do anonimizacji PDF w Pythonie i JavaScripcie

Wyszukuj i anonimizuj dane osobowe w PDF z poziomu własnego kodu. ScaleDP (Python) i ScaleDP-TS (JavaScript) łączą OCR dla zeskanowanych PDF, wykrywanie encji z AI i anonimizację w jednym pipeline, na Twoich serwerach lub w całości w przeglądarce.

Open source na licencji AGPL-3.0

Python
pip install scaledp
JavaScript / TypeScript
npm install @stabrise/scaledp

Anonimizacja PDF w Pythonie z ScaleDP

ScaleDP to otwarta biblioteka Pythona do pipeline’ów AI dla dokumentów. Wczytaj PDF do DataFrame’u Pandas lub Spark, uruchom OCR i wykryj dane osobowe modelami NER, aby wiedzieć, co trzeba zanonimizować.

Anonimizacja z AI

Automatycznie wykrywa i ukrywa dane osobowe, takie jak imiona i nazwiska, lokalizacje, adresy e-mail i daty.

Dokładność z uwzględnieniem kontekstu

Wykorzystuje zaawansowaną AI, by rozumieć kontekst i precyzyjnie anonimizować.

Skanowane dokumenty (OCR)

Wbudowany OCR z Tesseract, EasyOCR, Surya lub docTR wykrywa i ukrywa tekst w skanowanych obrazach i PDF.

Lokalnie lub na Spark

Używaj jej jako zwykłej biblioteki Pythona na jednym komputerze albo skaluj ten sam pipeline na Apache Spark, by anonimizować tysiące dokumentów.

Wielojęzyczność

Obsługuje popularne języki: angielski, hiszpański, niemiecki, włoski, rosyjski i inne.

Pasuje do Twojego stosu danych

Działa z DataFrame'ami Pandas i Spark, więc anonimizacja wpasowuje się w istniejące przepływy danych i pipeline'y ML.

Przykład w Pythonie: OCR i wykrywanie danych osobowych

pip install scaledp
from scaledp import *

spark = ScaleDPSession()

pipeline = PipelineModel(stages=[
    PdfDataToImage(),
    TesseractOcr(),
    Ner(model="d4data/biomedical-ner-all"),
])

result = pipeline.transform(df)

Anonimizacja PDF w JavaScripcie, bezpośrednio w przeglądarce

ScaleDP-TS to odpowiednik ScaleDP w TypeScripcie. Zainstaluj @stabrise/scaledp, a ten sam rodzaj pipeline’u uruchomi się po stronie klienta w nowoczesnych przeglądarkach HTML5 na onnxruntime-web, więc dokumenty nigdy nie są wysyłane.

Bez wysyłania, bez serwera

Dokumenty nigdy nie opuszczają przeglądarki. OCR, NER i anonimizacja działają w całości po stronie klienta.

Działa na onnxruntime-web

Modele działają lokalnie przez WebAssembly lub WebGPU, bez komunikacji z serwerem.

OCR w przeglądarce

Rozpoznawanie tekstu PaddleOCR wykrywa tekst w skanowanych obrazach i PDF.

NER zero-shot

GLiNER pozwala definiować typy encji, np. „person” czy „email”, w momencie wywołania, bez ponownego trenowania.

Wykrywanie podpisów i twarzy

Detektory oparte na YOLO lokalizują podpisy i twarze do ukrycia.

Modułowa i łatwa w składaniu

Importuj tylko to, czego potrzebujesz (/pdf, /ocr, /ner, /detect), i łącz etapy prostym API Pipeline.

Przykład w TypeScripcie: OCR i wykrywanie danych osobowych w przeglądarce

npm install @stabrise/scaledp
import { Pipeline } from '@stabrise/scaledp'
import { PdfToImage } from '@stabrise/scaledp/pdf'
import { PaddleTextRecognizer } from '@stabrise/scaledp/ocr'
import { GlinerNer } from '@stabrise/scaledp/ner'

const pipeline = new Pipeline([
  new PdfToImage({ resolution: 300 }),
  new PaddleTextRecognizer({ preset: 'v6-small' }),
  new GlinerNer({ labels: ['person', 'email', 'phone'] }),
])

const rows = await pipeline.transform(file)

Biblioteka czy API: Czego Potrzebujesz?

Otwarta biblioteka

  • Uruchamiasz ją sam: na swoich serwerach, klastrze Spark lub w przeglądarce użytkownika
  • Python (ScaleDP) albo JavaScript i TypeScript (ScaleDP-TS)
  • Bezpłatna na licencji AGPL-3.0
  • Sam wybierasz modele OCR i NER i nimi zarządzasz

API i SDK do Anonimizacji PDF

  • Zarządzane REST API, dostępne także do hostowania lokalnie
  • Wywołanie z dowolnego języka przez HTTP
  • Darmowy limit, potem opłata za stronę
  • Dopracowane produkcyjnie wykrywanie danych osobowych, podpisów, zdjęć i kodów QR
Zobacz API i SDK do anonimizacji PDF

Jak zanonimizować PDF w Pythonie lub JavaScripcie

Anonimizacja PDF w kodzie to trzy kroki: uzyskać tekst, znaleźć wrażliwe fragmenty i usunąć je ze strony. W cyfrowym PDF tekst jest już w pliku. Zeskanowany PDF to obraz, więc tekst trzeba najpierw odczytać przez OCR. ScaleDP obsługuje Tesseract, EasyOCR, Surya i docTR, dzięki czemu zanonimizujesz zeskanowane PDF w Pythonie silnikiem OCR dopasowanym do Twoich dokumentów.

W wykrywaniu biblioteka wygrywa z wyrażeniami regularnymi. Wzorce znajdą e-maile i numery telefonów, ale przeoczą imiona i nazwiska, adresy czy terminy medyczne. ScaleDP uruchamia modele NER z Hugging Face na wyniku OCR i zwraca każdą encję z jej położeniem na stronie, gotową do anonimizacji. Ten sam pipeline działa na jednym komputerze z Pandas albo na klastrze Apache Spark, gdy masz tysiące plików.

W aplikacjach webowych ScaleDP-TS przenosi pipeline do JavaScriptu i TypeScriptu. Renderowanie PDF, rozpoznawanie tekstu PaddleOCR, wykrywanie encji GLiNER oraz wykrywanie podpisów i twarzy YOLO działają w przeglądarce przez WebAssembly lub WebGPU. Nic nie jest wysyłane, więc sprawdza się przy anonimizacji PDF w aplikacjach HTML5, gdzie dokumenty muszą zostać na urządzeniu użytkownika.

Obie biblioteki są bezpłatne na licencji AGPL-3.0, a modele hostujesz i dostrajasz sam. Jeśli wolisz wywoływać zarządzaną usługę z dowolnego języka albo nie chcesz przenosić zobowiązań AGPL do swojego kodu, użyj API do anonimizacji PDF. Pojedyncze dokumenty zanonimizujesz w edytorze online bez pisania kodu.

Najczęstsze pytania o bibliotekę do anonimizacji PDF

Czy biblioteka do anonimizacji PDF jest darmowa i otwarta?
Tak. ScaleDP i ScaleDP-TS są open source na licencji GNU AGPL-3.0, więc możesz je bezpłatnie używać, modyfikować i hostować samodzielnie. AGPL-3.0 wymaga, aby po zmodyfikowaniu kodu i udostępnieniu go innym, także przez sieć, udostępnić swoje zmiany na tej samej licencji.
Jak zanonimizować PDF w Pythonie?
Zainstaluj ScaleDP poleceniem pip install scaledp i zbuduj pipeline: zamień strony PDF na obrazy, uruchom OCR (Tesseract, EasyOCR, Surya lub docTR) i wykryj dane osobowe modelem NER. Każda wykryta encja ma swoje położenie na stronie, które wskazuje, jakie obszary zakryć. Działa na jednym komputerze z Pandas lub na Apache Spark.
Czy mogę anonimizować PDF w przeglądarce za pomocą JavaScriptu?
Tak. ScaleDP-TS (npm install @stabrise/scaledp) wykonuje renderowanie PDF, OCR i wykrywanie encji po stronie klienta z onnxruntime-web, przez WebAssembly lub WebGPU. Działa w nowoczesnych przeglądarkach HTML5, a dokumenty nigdy nie opuszczają urządzenia użytkownika.
Wybrać ScaleDP (Python) czy ScaleDP-TS (JavaScript)?
Używaj ScaleDP do zadań serwerowych i wsadowych w Pythonie, na jednym komputerze lub skalowanych na Apache Spark. Używaj ScaleDP-TS, gdy dokumenty muszą zostać na urządzeniu użytkownika: wykonuje OCR, wykrywanie danych osobowych i anonimizację w przeglądarce za pomocą onnxruntime-web.
Czy do ScaleDP potrzebuję Apache Spark?
Nie. ScaleDP działa jako zwykła biblioteka Pythona na jednym komputerze z DataFrame'ami Pandas. Apache Spark jest opcjonalny i potrzebny tylko wtedy, gdy chcesz rozproszyć przetwarzanie na klaster.
Czy biblioteka potrafi anonimizować zeskanowane PDF?
Tak. Obie biblioteki zawierają OCR. ScaleDP obsługuje Tesseract, EasyOCR, Surya i docTR, a ScaleDP-TS uruchamia PaddleOCR w przeglądarce, dzięki czemu tekst na zeskanowanych stronach i obrazach może zostać wykryty i ukryty.
Czy ScaleDP-TS wysyła moje dokumenty na serwer?
Nie. ScaleDP-TS działa w całości po stronie klienta: renderowanie PDF, OCR i rozpoznawanie encji odbywają się w przeglądarce przez WebAssembly lub WebGPU. Pobierane są tylko pliki modeli; Twoje dokumenty nigdy nie opuszczają urządzenia.
Kiedy użyć API do anonimizacji PDF zamiast biblioteki?
Wybierz API, jeśli chcesz zarządzanej usługi, którą wywołasz z dowolnego języka programowania bez samodzielnego hostowania modeli, albo jeśli nie chcesz przyjmować zobowiązań licencji AGPL-3.0 we własnym kodzie.

Wbuduj anonimizację PDF w swój produkt

Potrzebujesz pomocy z włączeniem ScaleDP do swojego pipeline’u? Porozmawiaj z inżynierami ML i danych, którzy go tworzą, o OCR, wykrywaniu danych osobowych i dużych wolumenach dokumentów.