Mnoho týmů řeší stejný problém. Mají rozsáhlou dokumentaci produktu, ale chtějí vytvořit AI asistenta, který bude odpovídat přesně podle jejich znalostní báze. Projekt Passo Uno ukazuje přístup, jak proměnit existující dokumentaci na dataset vhodný pro fine-tuning jazykového modelu a vytvořit specializovaný model bez nutnosti ručně připravovat tisíce otázek a odpovědí.
Za projektem stojí Passo Uno, firma zaměřená na AI a automatizaci. Autoři popisují workflow, které z dokumentace generuje strukturované trénovací vzorky a následně je používá pro supervised fine-tuning. Místo klasického RAG přístupu se snaží část znalostí dostat přímo do modelu, aby dokázal odpovídat rychleji a s menší závislostí na externím vyhledávání.
Základní myšlenka je jednoduchá. Dokumentace se rozdělí na menší části, z nichž se automaticky vytvářejí instrukce, otázky a odpovědi. Ty následně tvoří trénovací dataset. Podobný přístup se v posledních letech objevuje i v dalších projektech zaměřených na syntetická data. Výzkumy ukazují, že dobře připravené syntetické datasety mohou výrazně zlepšit výkon modelu v konkrétní doméně, aniž by bylo nutné ručně anotovat velké objemy dat.
Důležitým tématem je kvalita dat. Samotné nahrání dokumentace do tréninku obvykle nestačí. Praktické zkušenosti z open-source i komerčních projektů ukazují, že nejlepší výsledky přináší transformace dokumentů do otázkově-odpovědního formátu, odstranění duplicit a průběžná evaluace výsledků. Právě kvalita datasetu bývá často důležitější než samotná volba modelu nebo použitá metoda fine-tuningu.
Podobné workflow je zajímavé zejména pro firmy s rozsáhlou interní dokumentací, produktovými manuály nebo technickou znalostní bází. Pokud se data často nemění, může být fine-tuning efektivnější než neustálé vyhledávání přes RAG. Naopak u rychle se měnících informací bývá vhodnější kombinace obou přístupů. Právě hledání rovnováhy mezi fine-tuningem, syntetickými daty a retrieval systémy se dnes stává jedním z hlavních témat při stavbě podnikových AI asistentů.
Zdroje:
- https://passo.uno/fine-tuning-docs-llm/
- https://developers.openai.com/api/docs/guides/model-optimization
- https://unsloth.ai/docs/get-started/fine-tuning-llms-guide
- https://www.decodingai.com/p/from-noisy-docs-to-fine-tuning-datasets
- https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/
- https://arxiv.org/abs/2404.10779
