PixelRAG jde proti proudu. Místo toho, aby webový RAG stránku nejdřív rozebral na text a zahodil layout, tabulky nebo grafy, ji vyrenderuje do screenshotů a hledá přímo nad nimi. Projekt zveřejnil tým kolem Yichuana Wanga, Zhifeie Liho a Sewon Min z Berkeley SkyLab, BAIR a Berkeley NLP. Paper s názvem „PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation“ se na arXivu objevil 1. června 2026, k tomu běží veřejné demo i otevřený repozitář.
Na papíře je ten trik prostý. Nejprve nástroj pixelshot převede web, PDF nebo obrázek na dlaždice screenshotů. Pak PixelRAG prohledává vizuální index a vrací ty části stránky, které se nejvíc hodí k dotazu. Důvod je jasný: web není jen text, ale i rozvržení, boxy, legendy, osy grafů nebo infografiky, které klasické parsování HTML často rozbije nebo zploští. V dokumentaci je navíc vidět, že API umí textové, obrazové i kombinované dotazy. Takže se neomezuje jen na klasické fulltextové hledání.
Čísla nejsou malá. Veřejná verze podle dokumentace indexuje 8,28 milionu článků Wikipedie jako screenshotové dlaždice, zatímco abstrakt paperu mluví o datastore s 30 miliony screenshotů pro plný korpus. Autoři tvrdí, že PixelRAG překonává nejen variantu bez retrievalu, ale i běžné textové varianty na úlohách NQ, SimpleQA, MMSearch, LiveVQA a MoNaCo. U agentních benchmarků uvádějí zlepšení až o 18,1 % proti textovým variantám. Je tam ještě jedna praktická věc: při nižším rozlišení má obrazový přístup podle abstraktu udržet přesnost a současně srazit tokenové náklady až na třetinu.
Na tom všem je zajímavé hlavně to, že PixelRAG nepůsobí jako laboratorní hračka pro jeden demo web. Repozitář nabízí balík pixelrag, veřejný vyhledávací endpoint bez API klíče nad Wikipedií a také plugin pixelbrowse, který nechá Claude číst stránku jako člověk, ne jako vyčištěný HTML výpis. Jestli se tenhle směr chytí i mimo Wikipedii, ukáže až cizí nasazení. Už teď je ale dobře vidět, kde má výhodu: když odpověď sedí v tabulce, grafu nebo zalomení stránky, screenshot bývá věrnější podklad než text vytažený bokem.
Zdroje:
