Unsloth je open-source nástroj pro lokální běh a trénování AI modelů. Míří na vývojáře a týmy, které chtějí pracovat s otevřenými modely na vlastním hardwaru, bez nutnosti stavět celý trénovací stack od začátku. Projekt kombinuje webové rozhraní Unsloth Studio a kódovou variantu Unsloth Core. V praxi tak pokrývá dvě situace: rychlé spuštění modelu přes UI a hlubší práci s fine-tuningem v Python stacku.
Za projektem stojí tým UnslothAI. GitHub repozitář je veřejný a projekt má desítky tisíc hvězdiček, což z něj dělá jeden z viditelnějších open-source nástrojů kolem fine-tuningu LLM. Unsloth se zaměřuje hlavně na lokální inference, trénování a reinforcement learning pro otevřené modely jako Gemma, Qwen, Llama, Mistral nebo gpt-oss. Dokumentace popisuje Unsloth jako framework pro běh a trénování modelů na vlastním lokálním hardwaru.
Hlavní použití je zrychlit a zjednodušit práci s modely, které by jinak vyžadovaly složitější konfiguraci. Unsloth Studio umí vyhledat, stáhnout a spustit modely ve formátech jako GGUF, LoRA adaptéry nebo safetensors. Uživatel může modely porovnávat vedle sebe, nahrávat soubory do chatu, exportovat modely do dalších formátů a sledovat trénování přes metriky jako loss nebo využití GPU. Data Recipes navíc umí vytvářet datasety z dokumentů typu PDF, CSV nebo DOCX přes vizuální workflow.
Technicky Unsloth staví na optimalizacích pro trénování. Projekt uvádí vlastní Triton a matematické kernely, podporu LoRA, FP8, full fine-tuningu, pretrainingu a reinforcement learningu. Cíl není vyměnit model, ale snížit nároky na jeho trénování a upravit workflow kolem něj. Díky tomu jde stejný typ úloh spouštět s menší pamětí nebo rychleji, podle zvoleného modelu a režimu.
Unsloth uvádí konkrétní čísla hlavně u trénování. Pro více než 500 modelů deklaruje až dvojnásobnou rychlost a až 70 % nižší využití VRAM bez ztráty přesnosti. U GRPO reinforcement learningu uvádí až 80 % nižší spotřebu VRAM. V přehledu notebooků se objevují příklady jako gpt-oss 20B s 2× rychlejším trénováním a 70 % menší pamětí nebo Llama 3.1 8B Alpaca s 2× rychlejším trénováním a 70 % menší pamětí.
Zdroje:
