FreeLLMAPI od vývojáře Tashfeena Ahmeda dává lokálně spuštěným aplikacím jednu adresu kompatibilní s API OpenAI: /v1. Uživatel do něj přidá vlastní klíče k jednotlivým poskytovatelům a aplikace pak komunikuje pouze s routerem. Router pro každý požadavek vybere dostupný model a při odpovědi 429 nebo 5xx zkusí dalšího poskytovatele ve zvolené řadě. Vývojář tak nemusí v klientovi ručně přepínat mezi službami, když jedna narazí na limit.
Projekt umí standardní rozhraní OpenAI včetně chatových odpovědí, Responses API, embeddings a generování médií; vedle toho překládá také rozhraní Anthropic Messages a Gemini. Klíče poskytovatelů ukládá do SQLite šifrované pomocí AES-256-GCM a při požadavku je dešifruje jen v paměti. S Claude Code se propojí přes npx freellmapi setup-claude, s Codex CLI přes setup-codex; pro oba nástroje existují i spouštěče, které klíč nezapisují do konfigurace. Server lze provozovat přes Docker i jako desktopovou aplikaci a výchozí instalace Dockeru poslouchá jen na 127.0.0.1.
Živý katalog projektu 26. srpna uváděl 281 bezplatných modelů od 26 poskytovatelů. Kdo připojí účty u více služeb, může jejich bezplatné kvóty spojit a za měsíc tak zpracovat velké množství tokenů bez placeného API; autor projektu odhaduje souhrnnou kapacitu všech podporovaných bezplatných nabídek na 7,4 miliardy tokenů měsíčně. Nejde ale o garantovaný příděl pro jednoho člověka: každý poskytovatel má vlastní limity a podmínky. Když se během dne vyčerpají kvóty silnějších modelů, router přechází na menší či slabší modely, takže kvalita odpovědí může klesnout. Autor nástroj vymezuje pro osobní experimentování a u produkční aplikace doporučuje přejít na placené API.
Zdroje:
- https://github.com/tashfeenahmed/freellmapi
- https://github.com/tashfeenahmed/freellmapi/blob/main/docs/install.md
- https://github.com/tashfeenahmed/freellmapi/blob/main/docs/clients.md
- https://github.com/tashfeenahmed/freellmapi/blob/main/docs/architecture.md#limitations
- https://freellmapi.co/models
- https://github.com/tashfeenahmed/freellmapi/releases
