Python-da PDF-ni Markdown-ga qanday o‘girish mumkin

Nega Markdown va nega bu ko‘ringanidan qiyinroq

LLM-lar Markdown-ni juda yaxshi tushunadi: sarlavhalar bo‘lim chegaralarini belgilaydi, pipe jadvallar jadval ma’lumotlarini tekislangan holda saqlaydi, ro‘yxatlar ro‘yxatligicha qoladi. Modelga PDF-dan olingan xom matnni berish bularning barchasini yo‘qotadi — PDF binariyasini berish esa ko‘pchilik jarayonlar uchun umuman variant emas. Shu sababli deyarli har bir jiddiy RAG stack hujjatlarni chunking va embedding-dan oldin Markdown-ga o‘giradi.

Qiyin tomoni shundaki, PDF-larda tuzilma yo‘q — ularda x/y koordinatalarga joylashtirilgan belgilar bor. Konvertor qaysi qatorlar sarlavha ekanini (shrift o‘lchamidan), qaysi so‘zlar jadval hosil qilishini (tekislashdan) va o‘qish tartibi qanday ekanini (maket tahlilidan) teskari muhandislik qilishi kerak. Kutubxonalar buni qay darajada uddalashida juda katta farq bor — tanlov shu uchun muhim.

Ikkinchi murakkablik: skanerlangan PDF-larda umuman matn yo‘q, faqat sahifa rasmlari bor. Quyidagi variantlardan faqat ba’zilari ularni OCR orqali uddalaydi.

1-variant: PyMuPDF4LLM — tez va yengil

PyMuPDF4LLM — PyMuPDF (fitz) ustidagi, LLM jarayonlari uchun maxsus qurilgan yupqa qatlam: pip install pymupdf4llm, so‘ng md = pymupdf4llm.to_markdown("doc.pdf") — bitta qator, va u juda tez: ko‘pchilik hujjatlarni bir soniyadan ancha kam vaqtda qayta ishlaydi.

U sarlavhalarni shrift o‘lchamlaridan aniqlaydi, jadvallarni pipe jadval sifatida chiqaradi va LlamaIndex yoki LangChain-ga to‘g‘ridan-to‘g‘ri yuklash uchun metama’lumotli sahifa bo‘laklarini bera oladi. Oddiy maketli raqamli PDF-lar — hisobotlar, hujjatlar, g‘ayrioddiy formatlashsiz maqolalar — uchun bu a’lo darajadagi standart tanlov.

Cheklovlar: OCR yo‘q, shuning uchun skanerlangan sahifalar bo‘sh qaytadi. Murakkab ko‘p ustunli maketlar va chigal jadvallar aralashib chiqishi mumkin, chunki asosidagi evristikalar chuqur maket tahlilidan ko‘ra tezlikni afzal ko‘radi. Litsenziya haqida: PyMuPDF — AGPL; ichki vositalar uchun muammosiz, ammo uni tijorat mahsuloti ichida yetkazishdan oldin yuridik jamoangiz bilan maslahatlashing.

2-variant: Marker — eng yuqori sifat, GPU talab qiladi

Marker maket aniqlash, o‘qish tartibi va jadval tuzilmasi uchun chuqur o‘rganish modellari zanjiridan foydalanadi va barcha ochiq kodli variantlar ichida eng ishonchli Markdown-ni beradi — u ko‘p ustunli ilmiy maqolalarni, murakkab jadvallarni va hatto tenglamalarni ham uddalaydi.

Buning narxi — infratuzilma: bir necha gigabaytlik model og‘irliklari, maqbul tezlik uchun GPU (CPU ham ishlaydi, lekin sekin — ko‘pincha har hujjatga o‘nlab soniyalar) va production yoki serverless muhitlarga joylashtirish jiddiy mehnat talab qiladigan og‘ir bog‘liqliklar daraxti.

Marker-ni qiyin hujjatlarda natija sifati eng muhim bo‘lsa va kerakli uskunangiz bo‘lsa tanlang — GPU serverida ilmiy korpusni ommaviy o‘girish uning eng kuchli tomoni. Yengil servis yoki serverless funksiya uchun esa operatsion og‘irlik odatda uni istisno qiladi.

3-variant: MarkItDown — Microsoft-ning universal konvertori

MarkItDown — Microsoft-ning hamma narsani Markdown-ga o‘giruvchi ochiq kodli kutubxonasi: pip install markitdown, so‘ng MarkItDown().convert("doc.pdf").text_content. Uning kuchi qamrovda — bitta API PDF, DOCX, PPTX, XLSX, HTML va boshqalarni o‘giradi; LLM ma’lumotlarini tayyorlashda aynan shu sababli mashhur bo‘lib ketdi.

Aynan PDF-lar uchun uning ajratishi maxsus variantlardan soddaroq: u oddiy matn ajratishga tayanadi, shuning uchun sarlavha aniqlash va jadval sifati PyMuPDF4LLM va Marker-dan orqada qoladi, skanerlangan PDF-lar esa qo‘shimcha OCR sozlamalarini talab qiladi.

MarkItDown-ni ko‘plab fayl turlarini o‘rtacha sifatda qamrab oluvchi bitta bog‘liqlik kerak bo‘lganda tanlang — "odamlar nima yuklasa, shuni" qabul qilishi shart bo‘lgan ichki yuklash skripti uchun — eng yaxshi PDF natijasi uchun emas.

4-variant: hosted API — umuman bog‘liqliklarsiz

To‘rtinchi variant — konvertatsiyani lokal bajarmaslik: PDF-ni parsing API-ga POST qiling va Markdown-ni qaytarib oling. ParseJet bilan: resp = httpx.post("https://api.parsejet.com/v1/parse/auto/file", headers={"Authorization": "Bearer KEY"}, files={"file": open("doc.pdf", "rb")}) — JSON javobining "text" maydoni Markdown bo‘ladi.

Bu yo‘lda skanerlangan sahifalar uchun OCR ichiga qurilgan, o‘rnatiladigan model og‘irliklari yoki native kutubxonalar yo‘q va u serverless funksiyada, konteynerda yoki notebook-da bir xil ishlaydi. AGPL masalasini ham butunlay chetlab o‘tadi. Evaziga — tarmoq bo‘ylab bitta qatnov va bepul tarifdan keyin har hujjat uchun narx (oyiga 300 kredit bepul; bitta PDF 3 kredit turadi).

API-ni jarayon bugunoq ishlashini istasangiz, PDF-laringiz orasida skanlar bo‘lsa yoki og‘ir bog‘liqliklar zarar keltiradigan joyga — Lambda, Cloud Run, Vercel — joylashtirayotgan bo‘lsangiz tanlang.

Qaysi birini ishlatish kerak?

Raqamli PDF-lar, oddiy-o‘rtacha maketlar, tezlik muhim: PyMuPDF4LLM. Sof Python-da bu mehnat-sifat nisbati bo‘yicha eng yaxshi tanlov.

Qiyin hujjatlar (ko‘p ustunli maqolalar, murakkab jadvallar) va GPU bor: Marker. Natija sifati bo‘yicha uni hech bir ochiq kodli vosita yenga olmaydi.

Bitta kutubxona orqali ko‘plab turli fayl turlari, o‘rtacha sifat yetarli: MarkItDown.

Aralashmada skanerlangan PDF-lar, serverless joylashtirish yoki bog‘liqliklarni boshqarishga umuman xohish yo‘q: hosted API. Bitta HTTP chaqiruv, OCR ichida, har hujjat uchun bir xil natija sxemasi.

To‘liq misol: PDF papkasidan Markdown fayllarga

Qaysi yo‘lni tanlamang, jarayon shakli bir xil — aylanib chiqish, o‘girish, yozish. Mana u API bilan (lokal ishga tushirish uchun ichki chaqiruvni pymupdf4llm.to_markdown() ga almashtiring):

import httpx; from pathlib import Path — so‘ng Path("pdfs/").glob("*.pdf") ichidagi har bir pdf uchun: resp = httpx.post("https://api.parsejet.com/v1/parse/auto/file", headers={"Authorization": "Bearer KEY"}, files={"file": pdf.read_bytes()}); Path("md/", pdf.stem + ".md").write_text(resp.json()["text"], encoding="utf-8").

RAG-ga yuklashda Markdown-ni belgilangan belgi soni bo‘yicha emas, sarlavhalar bo‘yicha bo‘laklarga ajrating — sarlavhani hisobga oluvchi bo‘laklar bo‘limlarni butun saqlaydi va sezilarli darajada yaxshiroq topiladi. Konvertatsiya bosqichini sinchiklab bajarishga arziganining sababi ham aynan shu tuzilmaviy aniqlik.