Biblioteka do anonimizacji PDF w Pythonie i JavaScripcie
Wyszukuj i anonimizuj dane osobowe w PDF z poziomu własnego kodu. ScaleDP (Python) i ScaleDP-TS (JavaScript) łączą OCR dla zeskanowanych PDF, wykrywanie encji z AI i anonimizację w jednym pipeline, na Twoich serwerach lub w całości w przeglądarce.
Open source na licencji AGPL-3.0
pip install scaledpnpm install @stabrise/scaledpAnonimizacja PDF w Pythonie z ScaleDP
ScaleDP to otwarta biblioteka Pythona do pipeline’ów AI dla dokumentów. Wczytaj PDF do DataFrame’u Pandas lub Spark, uruchom OCR i wykryj dane osobowe modelami NER, aby wiedzieć, co trzeba zanonimizować.
Anonimizacja z AI
Automatycznie wykrywa i ukrywa dane osobowe, takie jak imiona i nazwiska, lokalizacje, adresy e-mail i daty.
Dokładność z uwzględnieniem kontekstu
Wykorzystuje zaawansowaną AI, by rozumieć kontekst i precyzyjnie anonimizować.
Skanowane dokumenty (OCR)
Wbudowany OCR z Tesseract, EasyOCR, Surya lub docTR wykrywa i ukrywa tekst w skanowanych obrazach i PDF.
Lokalnie lub na Spark
Używaj jej jako zwykłej biblioteki Pythona na jednym komputerze albo skaluj ten sam pipeline na Apache Spark, by anonimizować tysiące dokumentów.
Wielojęzyczność
Obsługuje popularne języki: angielski, hiszpański, niemiecki, włoski, rosyjski i inne.
Pasuje do Twojego stosu danych
Działa z DataFrame'ami Pandas i Spark, więc anonimizacja wpasowuje się w istniejące przepływy danych i pipeline'y ML.
Przykład w Pythonie: OCR i wykrywanie danych osobowych
pip install scaledpfrom scaledp import *
spark = ScaleDPSession()
pipeline = PipelineModel(stages=[
PdfDataToImage(),
TesseractOcr(),
Ner(model="d4data/biomedical-ner-all"),
])
result = pipeline.transform(df)Anonimizacja PDF w JavaScripcie, bezpośrednio w przeglądarce
ScaleDP-TS to odpowiednik ScaleDP w TypeScripcie. Zainstaluj @stabrise/scaledp, a ten sam rodzaj pipeline’u uruchomi się po stronie klienta w nowoczesnych przeglądarkach HTML5 na onnxruntime-web, więc dokumenty nigdy nie są wysyłane.
Bez wysyłania, bez serwera
Dokumenty nigdy nie opuszczają przeglądarki. OCR, NER i anonimizacja działają w całości po stronie klienta.
Działa na onnxruntime-web
Modele działają lokalnie przez WebAssembly lub WebGPU, bez komunikacji z serwerem.
OCR w przeglądarce
Rozpoznawanie tekstu PaddleOCR wykrywa tekst w skanowanych obrazach i PDF.
NER zero-shot
GLiNER pozwala definiować typy encji, np. „person” czy „email”, w momencie wywołania, bez ponownego trenowania.
Wykrywanie podpisów i twarzy
Detektory oparte na YOLO lokalizują podpisy i twarze do ukrycia.
Modułowa i łatwa w składaniu
Importuj tylko to, czego potrzebujesz (/pdf, /ocr, /ner, /detect), i łącz etapy prostym API Pipeline.
Przykład w TypeScripcie: OCR i wykrywanie danych osobowych w przeglądarce
npm install @stabrise/scaledpimport { Pipeline } from '@stabrise/scaledp'
import { PdfToImage } from '@stabrise/scaledp/pdf'
import { PaddleTextRecognizer } from '@stabrise/scaledp/ocr'
import { GlinerNer } from '@stabrise/scaledp/ner'
const pipeline = new Pipeline([
new PdfToImage({ resolution: 300 }),
new PaddleTextRecognizer({ preset: 'v6-small' }),
new GlinerNer({ labels: ['person', 'email', 'phone'] }),
])
const rows = await pipeline.transform(file)Biblioteka czy API: Czego Potrzebujesz?
Otwarta biblioteka
- Uruchamiasz ją sam: na swoich serwerach, klastrze Spark lub w przeglądarce użytkownika
- Python (ScaleDP) albo JavaScript i TypeScript (ScaleDP-TS)
- Bezpłatna na licencji AGPL-3.0
- Sam wybierasz modele OCR i NER i nimi zarządzasz
API i SDK do Anonimizacji PDF
- Zarządzane REST API, dostępne także do hostowania lokalnie
- Wywołanie z dowolnego języka przez HTTP
- Darmowy limit, potem opłata za stronę
- Dopracowane produkcyjnie wykrywanie danych osobowych, podpisów, zdjęć i kodów QR
Jak zanonimizować PDF w Pythonie lub JavaScripcie
Anonimizacja PDF w kodzie to trzy kroki: uzyskać tekst, znaleźć wrażliwe fragmenty i usunąć je ze strony. W cyfrowym PDF tekst jest już w pliku. Zeskanowany PDF to obraz, więc tekst trzeba najpierw odczytać przez OCR. ScaleDP obsługuje Tesseract, EasyOCR, Surya i docTR, dzięki czemu zanonimizujesz zeskanowane PDF w Pythonie silnikiem OCR dopasowanym do Twoich dokumentów.
W wykrywaniu biblioteka wygrywa z wyrażeniami regularnymi. Wzorce znajdą e-maile i numery telefonów, ale przeoczą imiona i nazwiska, adresy czy terminy medyczne. ScaleDP uruchamia modele NER z Hugging Face na wyniku OCR i zwraca każdą encję z jej położeniem na stronie, gotową do anonimizacji. Ten sam pipeline działa na jednym komputerze z Pandas albo na klastrze Apache Spark, gdy masz tysiące plików.
W aplikacjach webowych ScaleDP-TS przenosi pipeline do JavaScriptu i TypeScriptu. Renderowanie PDF, rozpoznawanie tekstu PaddleOCR, wykrywanie encji GLiNER oraz wykrywanie podpisów i twarzy YOLO działają w przeglądarce przez WebAssembly lub WebGPU. Nic nie jest wysyłane, więc sprawdza się przy anonimizacji PDF w aplikacjach HTML5, gdzie dokumenty muszą zostać na urządzeniu użytkownika.
Obie biblioteki są bezpłatne na licencji AGPL-3.0, a modele hostujesz i dostrajasz sam. Jeśli wolisz wywoływać zarządzaną usługę z dowolnego języka albo nie chcesz przenosić zobowiązań AGPL do swojego kodu, użyj API do anonimizacji PDF. Pojedyncze dokumenty zanonimizujesz w edytorze online bez pisania kodu.
Najczęstsze pytania o bibliotekę do anonimizacji PDF
- Czy biblioteka do anonimizacji PDF jest darmowa i otwarta?
- Tak. ScaleDP i ScaleDP-TS są open source na licencji GNU AGPL-3.0, więc możesz je bezpłatnie używać, modyfikować i hostować samodzielnie. AGPL-3.0 wymaga, aby po zmodyfikowaniu kodu i udostępnieniu go innym, także przez sieć, udostępnić swoje zmiany na tej samej licencji.
- Jak zanonimizować PDF w Pythonie?
- Zainstaluj ScaleDP poleceniem pip install scaledp i zbuduj pipeline: zamień strony PDF na obrazy, uruchom OCR (Tesseract, EasyOCR, Surya lub docTR) i wykryj dane osobowe modelem NER. Każda wykryta encja ma swoje położenie na stronie, które wskazuje, jakie obszary zakryć. Działa na jednym komputerze z Pandas lub na Apache Spark.
- Czy mogę anonimizować PDF w przeglądarce za pomocą JavaScriptu?
- Tak. ScaleDP-TS (npm install @stabrise/scaledp) wykonuje renderowanie PDF, OCR i wykrywanie encji po stronie klienta z onnxruntime-web, przez WebAssembly lub WebGPU. Działa w nowoczesnych przeglądarkach HTML5, a dokumenty nigdy nie opuszczają urządzenia użytkownika.
- Wybrać ScaleDP (Python) czy ScaleDP-TS (JavaScript)?
- Używaj ScaleDP do zadań serwerowych i wsadowych w Pythonie, na jednym komputerze lub skalowanych na Apache Spark. Używaj ScaleDP-TS, gdy dokumenty muszą zostać na urządzeniu użytkownika: wykonuje OCR, wykrywanie danych osobowych i anonimizację w przeglądarce za pomocą onnxruntime-web.
- Czy do ScaleDP potrzebuję Apache Spark?
- Nie. ScaleDP działa jako zwykła biblioteka Pythona na jednym komputerze z DataFrame'ami Pandas. Apache Spark jest opcjonalny i potrzebny tylko wtedy, gdy chcesz rozproszyć przetwarzanie na klaster.
- Czy biblioteka potrafi anonimizować zeskanowane PDF?
- Tak. Obie biblioteki zawierają OCR. ScaleDP obsługuje Tesseract, EasyOCR, Surya i docTR, a ScaleDP-TS uruchamia PaddleOCR w przeglądarce, dzięki czemu tekst na zeskanowanych stronach i obrazach może zostać wykryty i ukryty.
- Czy ScaleDP-TS wysyła moje dokumenty na serwer?
- Nie. ScaleDP-TS działa w całości po stronie klienta: renderowanie PDF, OCR i rozpoznawanie encji odbywają się w przeglądarce przez WebAssembly lub WebGPU. Pobierane są tylko pliki modeli; Twoje dokumenty nigdy nie opuszczają urządzenia.
- Kiedy użyć API do anonimizacji PDF zamiast biblioteki?
- Wybierz API, jeśli chcesz zarządzanej usługi, którą wywołasz z dowolnego języka programowania bez samodzielnego hostowania modeli, albo jeśli nie chcesz przyjmować zobowiązań licencji AGPL-3.0 we własnym kodzie.
Wbuduj anonimizację PDF w swój produkt
Potrzebujesz pomocy z włączeniem ScaleDP do swojego pipeline’u? Porozmawiaj z inżynierami ML i danych, którzy go tworzą, o OCR, wykrywaniu danych osobowych i dużych wolumenach dokumentów.