Rohan Bansal zveřejnil QORL, výzkumný harness pro trénování agenta nad optimalizátorem PostgreSQL. Místo přepisování planneru nechá model navrhnout hinty pro rozšíření pg_hint_plan, které PostgreSQL nasměrují k jinému fyzickému plánu. Databáze pak kandidáta spustí a porovná jeho dobu běhu s vlastním výchozím plánem. Smysl to má hlavně u náročných analytických dotazů, které se vracejí pořád dokola; cena hledání lepšího plánu se pak může rozložit mezi mnoho spuštění.
Autor začal se čtyřmiliardovým modelem z rodiny Qwen. Nejdřív jej pomocí supervised fine-tuningu naučil pracovat s nástroji QORL, potom jej doladil agentním reinforcement learningem. Odměnou není známka za hezký SQL výstup, ale naměřený čas dotazu. Repozitář obsahuje postupy pro kalibraci měření, vyhodnocení, SFT i RL a přikládá pracovní zátěže JOB a CEB nad databázovou sadou IMDb.
Ve svém testu na 113 joinově náročných dotazech JOB Bansal uvádí pro nejlepší kandidát vybraný napříč třemi běhy geometrický průměr zrychlení 1,81×, 68 zlepšení a žádnou regresi. Jde o výsledek autorova experimentu, nikoli o příslib pro libovolnou produkční databázi. QORL má otevřený zdrojový kód; pro trénování ale počítá s Linuxem x86-64, Pythonem 3.12 a pro GPU běh s vLLM, FlashAttention a CUDA závislostmi.
Zdroje:
