Model umí napsat uhlazenou větu, ale tím může autorovi zavřít cestu k vlastní formulaci. Thomas a Erin Ptacekovi proto v eseji How To Write With An LLM, vydané 17. září, navrhují obrátit jeho úlohu: první verzi má napsat člověk a LLM v ní má hledat vady. První pravidlo zní nepřebírat ani jednotlivé formulace, které model nabídne. Druhé: zakázat mu pochvalu.
Podle Ptacekových může chvála autora utvrdit v prvním nápadu dřív, než dojde na skutečnou revizi. Model má místo toho označit trpný rod, zpodstatnělá slovesa, opakované obraty, výplňová slova nebo odstavce, které by po přesunu dávaly větší smysl. Autor pak sám přepíše konkrétní větu či odstavec. Při porovnání původní a nové verze doporučují použít další konverzaci bez znalosti dosavadních úprav, aby model neměl důvod stranět právě nové verzi.
Podobný princip zkoumal prototyp Textfocals. Namísto hotových vět ukazuje v postranním panelu shrnutí, otázky a rady, které mají autora přivést k vlastní revizi. Autoři studie uvádějí, že jejich uživatelské testování naznačilo přínos při rozvíjení nápadů a zpřesňování textu; zároveň narazilo na potíže s navigací, rozsahem zadání a prací s kontextem.
U odborných textů jsou důkazy pro užitečnost kritiky konkrétnější. Studie Stanfordu srovnala připomínky GPT-4 a lidských recenzentů nad 3 096 články z časopisů Nature a 1 709 příspěvky pro ICLR; překryv připomínek se pohyboval podobně jako mezi dvěma lidmi. Z 308 výzkumníků hodnotilo 57,4 % zpětnou vazbu GPT-4 kladně. Šlo však o vědecké rukopisy, nikoli o osobní esej, takže výsledky nepředstavují ověření pravidel Ptacekových.
Zdroje:
