llmfit od autora vystupujícího na GitHubu jako AlexsJones vybírá lokální jazykový model podle paměti, CPU a GPU v konkrétním počítači. Po spuštění rozpozná hardware a seřadí stovky modelů podle souhrnného skóre. Do něj vstupuje kvalita, odhad rychlosti, využití paměti i délka kontextu. Nejvíc pomůže před stahováním několika gigabajtů vah naslepo.
Výchozí rozhraní běží v terminálu a ukazuje parametry počítače spolu s pořadím modelů. Z klávesnice lze filtrovat jen modely, které se do paměti vejdou, nebo hledat podle názvu, poskytovatele či účelu. Příkaz llmfit recommend --json --use-case coding --limit 3 vrátí strojově čitelný výběr pro programování. U podporovaného poskytovatele umí nástroj vybraný model také stáhnout.
Výpočet počítá s konfigurací více GPU, architekturou Mixture-of-Experts a volbou kvantizace, která se ještě vejde do dostupné paměti. llmfit rozlišuje provoz na GPU, kombinaci CPU s GPU i běh pouze na CPU. Dokáže proto doporučovat i na počítačích bez samostatné grafické karty, jen s jiným očekáváním rychlosti. Pro Apple Silicon vychází z jednotné paměti; pro NVIDIA, AMD, Intel Arc a Ascend používá jejich systémové nástroje pro zjištění GPU.
Nástroj se napojuje na Ollama, llama.cpp, MLX, Docker Model Runner a LM Studio. V režimu Community Leaderboard zobrazí naměřené tokeny za sekundu, čas do prvního tokenu a špičkové využití VRAM z databáze localmaxxing.com; vlastní Inference Bench naopak změří běžící lokální modely. Verze v1.1.6 vyšla 21. července 2026. Na macOS ji lze nainstalovat příkazem brew install llmfit; Homebrew ji aktuálně vede jako balíček s licencí MIT.
Zdroje:
