Guidance míří na problém, který je u práce s LLM vidět pořád dokola: prompt sice něco vygeneruje, ale těžko se hlídá formát, větvení logiky nebo přesná struktura odpovědi. Tohle řeší přes pythonický způsob práce s modelem, kde se prompt, generování i programová logika skládají do jednoho toku. Místo lepení dlouhých promptů a post-processingu nad výsledkem dovolí přímo řídit, co model smí vypsat a v jakém tvaru. Hodí se tam, kde nestačí „nějaký text“, ale je potřeba dostat stabilnější a lépe kontrolovaný výstup.
Za projektem stojí open-source organizace Guidance AI a mezi maintainery jsou Scott Lundberg, Harsha Nori a Marco Tulio Ribeiro. Knihovna je dostupná přes PyPI, funguje s více backendy včetně Transformers, llama.cpp a OpenAI a staví na tom, že model neovládáte jen textem, ale i omezeními a strukturou běhu. Umí vkládat conditionals, loops nebo tool use přímo do generování a zároveň omezovat výstup třeba regulárními výrazy, výběrem z daných možností nebo context-free grammar. Prakticky to znamená, že se dá použít jak pro běžné chatové workflow, tak pro úlohy, kde model musí vracet přesnější syntax nebo předem daný formát. Repo má na GitHubu přes 21 tisíc hvězdiček, takže nejde o okrajový experiment, ale o poměrně zavedený nástroj v Python ekosystému kolem LLM.
Zdroje:
