Subscribe Now
Trending News
Shorts

PageIndex mění RAG pro dlouhé dokumenty

PageIndex mění RAG pro dlouhé dokumenty

PageIndex je open-source framework, který zkouší obejít jednu z nejběžnějších částí dnešního RAG stacku: vektorové vyhledávání. Místo embeddingů, chunkingu a vector databáze staví nad dokumentem stromovou strukturu podobnou obsahu a pak nechá model rozhodovat, které části mají pro daný dotaz skutečný význam. Cíl je jednoduchý: u dlouhých odborných dokumentů nehledat jen text, který je podobný dotazu, ale text, který je pro odpověď opravdu relevantní. Právě na tom podle autorů klasický vector-based RAG často selhává.

Za projektem stojí VectifyAI, které repozitář publikuje jako MIT open source a vedle něj nabízí i vlastní chat platformu, API a MCP integraci. V GitHub repozitáři je dnes přes 25 tisíc stars a přes 2 tisíce forků, takže nejde o malý experiment zapadlý v rohu internetu. Projekt míří hlavně na práci s dlouhými profesionálními dokumenty, jako jsou finanční reporty, regulatorní podklady, učebnice, právní texty nebo technické manuály. To je přesně typ obsahu, kde běžné chunkování často rozbije strukturu dokumentu a zhorší dohledatelnost odpovědí.

Jak to funguje v praxi: PageIndex nejdřív z PDF vytvoří hierarchický tree index. Každý uzel obsahuje název sekce, souhrn a rozsah stránek, takže model neprochází dokument naslepo, ale orientuje se podle jeho struktury. Ve druhém kroku probíhá retrieval přes tree search. Model dostane dotaz a podle názvů a shrnutí jednotlivých uzlů vybírá, kam se má podívat dál. Teprve potom sahá do konkrétních částí dokumentu. Výsledek má být blíž tomu, jak by v dlouhém materiálu postupoval člověk, který si nejdřív projde obsah a až pak jde do relevantních kapitol.

Hlavní pointa PageIndexu je v tom, že retrieval není postavený na podobnosti vektorů, ale na explicitním rozhodování nad dokumentovou strukturou. Autoři tím argumentují lepší vysvětlitelností a trasovatelností, protože systém vrací konkrétní stránky a sekce místo méně čitelného výběru chunků. U profesionálních dokumentů je to důležité nejen kvůli přesnosti, ale i kvůli kontrole, odkud odpověď skutečně vznikla. PageIndex navíc nepracuje s uměle nasekanými bloky textu, ale s přirozenými sekcemi dokumentu, což dává smysl hlavně tam, kde význam závisí na kontextu kapitoly nebo podkapitoly.

VectifyAI zároveň uvádí, že jejich reasoning-based RAG s PageIndexem dosáhl 98,7% accuracy na FinanceBench. To je číslo, které projektu rychle přitáhlo pozornost, i když samo o sobě ještě neříká všechno o latenci, ceně nebo chování mimo úzký typ úloh. I tak je na PageIndexu zajímavé hlavně to, že neřeší RAG jen lepším rerankerem nebo novým embedding modelem, ale zpochybňuje samotný předpoklad, že retrieval nad dlouhými dokumenty musí stát na vector search. Pro vývojáře, kteří řeší PDFka, reporty a další silně strukturované texty, je to jedna z praktičtějších open-source alternativ k běžnému RAG pipeline.

Zdroje:

Related posts