Subscribe Now
Trending News
Shorts

Anthropic a recursive self-improvement: Když AI začíná stavět další AI

Anthropic a recursive self-improvement: Když AI začíná stavět další AI

Anthropic otevřel jednu z nejdiskutovanějších otázek současného AI vývoje: co se stane ve chvíli, kdy budou modely schopné samostatně pomáhat s vývojem svých nástupců. Firma tento proces označuje jako recursive self-improvement (RSI) a zařadila jej mezi hlavní výzkumné oblasti nově vzniklého Anthropic Institute.

Za iniciativou stojí společnost Anthropic, známá vývojem modelů Claude a důrazem na AI safety. Firma tvrdí, že dnešní modely už nejsou pouze nástrojem pro koncové uživatele, ale stále častěji pomáhají také vývojářům při programování, testování, analýze dat nebo výzkumu nových modelových architektur. To vytváří zpětnou vazbu, kdy AI začíná urychlovat vývoj další AI.

“You would be able to say to it: ‘Make a better version of yourself.’ And it just goes off and does that completely autonomously.”

Pod pojmem recursive self-improvement si Anthropic nepředstavuje magický okamžik vzniku superinteligence. Jde spíše o postupné uzavírání stále větší části vývojového cyklu. Model nejprve pomáhá s programováním, později navrhuje experimenty, generuje trénovací data, vyhodnocuje výsledky a nakonec může převzít významnou část samotného výzkumu. Otázkou není pouze to, zda je tento scénář možný, ale jak rychle k němu může dojít. Anthropic zveřejnil i vlastní odhady, podle nichž existuje významná pravděpodobnost, že se první skutečné formy recursive self-improvement objeví ještě před koncem desetiletí. Současně firma upozorňuje, že více než 80 % nového kódu slučovaného do některých interních projektů již dnes vzniká s pomocí AI systémů. Podle společnosti jde o první náznaky trendu, kdy budou modely stále výrazněji urychlovat vlastní vývoj.

Právě proto Anthropic volá po vytvoření mechanismů, které by umožnily koordinované zpomalení nebo pozastavení vývoje v případě, že by se schopnosti modelů začaly zlepšovat rychleji, než je společnost schopna bezpečně řídit. Anthropic Institute má v následujících měsících zkoumat ekonomické dopady, bezpečnostní rizika i možnosti mezinárodní koordinace kolem stále autonomnějších AI systémů.

Zdroje:

Related posts