TechnologieAgent OpenAI unikl z testovacího prostředí a hackersky napadl firmu. Trvalo týden,...

Agent OpenAI unikl z testovacího prostředí a hackersky napadl firmu. Trvalo týden, než si toho všimli

Reklama

Autonomní agent společnosti OpenAI se během bezpečnostního testu dostal mimo izolované prostředí a několik dní útočil na technologickou firmu Hugging Face. OpenAI podle dostupných informací dlouho netušila, že za incidentem stojí její vlastní systém. Případ znovu otevřel otázku, zda firmy dokážou udržet stále schopnější modely pod kontrolou.

Incident začal kolem 9. července, kdy se agent pokusil uniknout z interního testovacího prostředí OpenAI. O dva dny později pronikl do systémů společnosti Hugging Face, která provozuje rozsáhlé úložiště nástrojů a modelů umělé inteligence.

Útok pokračoval do 13. července. Agent během necelých dvou dnů provedl přibližně 17 tisíc úkonů a dostal se k citlivým informacím. Pracoval přitom téměř bez lidského dohledu a pohyboval se rychlostí, které by běžný útočník jen těžko dosáhl.

OpenAI zjistila původ útoku se zpožděním

Hugging Face zveřejnila 16. července informaci, že ji napadl „autonomní systém agentů“. Firma tehdy nevěděla, kdo za útokem stojí, a případ oznámila policii. Do vyšetřování se dostal také americký Federální úřad pro vyšetřování.

OpenAI podle několika zdrojů pochopila souvislost až po zveřejnění této informace. Zaměstnanci o víkendu 18. a 19. července našli v interních záznamech stopy, které ukazovaly na únik vlastního agenta. Obě společnosti spolu začaly přímo komunikovat přibližně 20. července.

OpenAI incident veřejně popsala 21. července. Firma uvedla, že šlo o bezprecedentní událost, která „představuje důležitý okamžik pro bezpečnost umělé inteligence“. Zároveň oznámila, že případ prověřuje s externími odborníky a později zveřejní technickou zprávu.

Podle OpenAI kolují kolem incidentu spekulace a nepřesné informace. Společnost však konkrétně nevysvětlila, které části zveřejněných zjištění považuje za chybné. Hugging Face mezitím připravuje vlastní časovou osu útoku.

Modely už dříve vykazovaly neobvyklé chování

OpenAI v době incidentu testovala schopnosti agentů při kybernetických útocích. Systémy využívaly dva velmi pokročilé modely, včetně dosud nezveřejněného modelu, který firma označila za ještě výkonnější.

Už před útokem se objevily varovné signály. Jeden z agentů údajně zanechal pokyny pro své budoucí verze, ve kterých popsal, jak obejít interní omezení OpenAI. Při jiných testech se zase odpojily monitorovací systémy. Není však jasné, zda tyto události přímo souvisely s útokem na Hugging Face.

Bezpečnostní experti upozorňují, že samotné izolované prostředí nemusí pro autonomní agenty představovat dostatečnou ochranu. „Sandboxy samy o sobě nejsou dostatečnou bezpečnostní hranicí pro agentní umělou inteligenci,“ uvedl Dor Sarig ze společnosti Pillar Security.

Profesorka kybernetické bezpečnosti Katie Moussouris varovala, že vývojáři pracují s technologiemi, které zatím neumějí spolehlivě zvládat. „Jen proto, že máme nejchytřejší lidi vyvíjející umělou inteligenci, neznamená, že ji dokážeme vyvíjet bezpečně,“ řekla.

Někteří komentátoři zároveň zpochybňují, zda firma incident nevyužila k propagaci síly svých modelů. Podle jiných ale test jednoduše odhalil závažné slabiny v zabezpečení a kontrole. Poradkyně pro umělou inteligenci Francesca Bosco odmítla oba krajní výklady. „Vážnější interpretace je, že zátěžový test odhalil slabiny v architektuře izolace a hodnocení,“ uvedla.

Případ přichází v době, kdy technologické firmy prosazují autonomní agenty jako virtuální pracovníky schopné fungovat bez přestávky. Větší samostatnost však přináší také riziko nečekaného jednání. Výzkumy ukazují, že některé pokročilé modely při plnění úkolů podvádějí, obcházejí pravidla nebo hledají nepovolené zkratky.

Bývalý šéf britského Národního centra kybernetické bezpečnosti Ciaran Martin odmítl okamžité katastrofické scénáře. Upozornil však, že incident potvrzuje rychlý růst schopností těchto systémů. Agenti umělé inteligence se podle něj stávají velmi schopnými hackery a bezpečnostní sektor se na to musí urychleně připravit.

Doporučujeme

Pokračování obchodní války. Kanada zavedla odvetná cla na americké zboží

Kanada zavedla odvetná cla na americké zboží v hodnotě 20 miliard dolarů. Sazby od 15 do 50 procent zasáhnou stovky výrobků od oceli a oblečení až po nábytek. Ottawa reaguje na americká cla a stupňuje obchodní spor se svým největším obchodním partnerem.

Apple má po 15 letech nového šéfa

Společnost Apple má po 15 letech nového generálního ředitele. Tima Cooka v čele technologického gigantu vystřídal John Ternus, který dosud řídil vývoj hardwaru. Cook ale z firmy neodchází. Jako výkonný předseda správní rady se bude dál podílet na důležitých rozhodnutích a jednáních s politiky i regulačními úřady.

TCS chystá obří AI kampus. Investice může dosáhnout 7,4 miliardy dolarů

Indická technologická skupina TCS výrazně posiluje své sázky na umělou inteligenci. Její dceřiná společnost HyperVault plánuje v Hajdarábádu rozsáhlý komplex datových center s výkonem až jeden gigawatt. Společně s partnery může do projektu vložit až 7,4 miliardy dolarů.

Foxconn zažil rekordní srpen. Tržby vyskočily o 52 procent díky umělé inteligenci

Foxconn pokračuje v rychlém růstu díky rozmachu umělé inteligence. Tchajwanský výrobní gigant zaznamenal nejlepší srpnové tržby ve své historii a očekává, že třetí čtvrtletí překoná dosavadní očekávání trhu. Klíčovým motorem jsou servery a další infrastruktura potřebná pro provoz AI.

Adobe čeká po 18 letech změna vedení

Americká softwarová společnost Adobe po více než 18 letech mění generálního ředitele. Shantanu Narayena na začátku prosince vystřídá dosavadní člen vedení Anil Chakravarthy. Nový šéf převezme firmu v době, kdy rychlý rozvoj umělé inteligence mění trh s kreativním softwarem a zvyšuje tlak konkurence.

Světové ceny potravin jsou nejvýš od roku 2022. Zdražil cukr, obilí i oleje

Světové ceny potravin v srpnu vystoupaly na nejvyšší úroveň od listopadu 2022. Zdražily všechny hlavní skupiny zemědělských komodit, nejvýrazněji cukr. Trhy ovlivňuje sucho a horko v Evropě, obavy z El Niña i problémy s obchodem a dopravou v oblasti Černého moře a Blízkého východu.

Victoria’s Secret zvýšila zisk, její akcie přesto klesly o 15 %

Victoria’s Secret pokračuje v obratu svého podnikání. Prodej módní značky ve druhém čtvrtletí vzrostl a vedení zlepšilo celoroční výhled. Investoři však čekali ještě lepší čísla a poslali akcie prudce dolů.

Lululemon po výsledcích ztratil 17 procent, novou šéfku čeká těžký obrat

Lululemon vstupuje do nové éry v nepříjemné chvíli. Akcie výrobce sportovního oblečení po zveřejnění výsledků prudce oslabily, firma podruhé snížila celoroční výhled a v klíčové Americe dál ztrácí tempo. Už 8. září přitom nastoupí nová generální ředitelka Heidi O'Neill, kterou čeká nelehký úkol vrátit značku k růstu.

Silná data z trhu práce zvýšila šanci na růst sazeb v USA. Trump má jiný názor

Americká ekonomika v srpnu vytvořila výrazně více pracovních míst, než analytici čekali. Silná čísla zvýšila pravděpodobnost, že americká centrální banka Fed v září zvýší úrokové sazby. Prezident Donald Trump naopak znovu vyzval k jejich snížení.

Medtronic investuje 700 milionů dolarů do robotické chirurgie

Výrobce zdravotnické techniky Medtronic rozšiřuje nabídku robotických operačních systémů. Firma investuje přibližně 700 milionů dolarů do partnerství se společností Cornerstone Robotics a zároveň po růstu čtvrtletních tržeb zlepšila celoroční výhled.

Range Rover představil svůj první plně elektrický model

Range Rover ukázal svůj první čistě elektrický vůz. Novinka přichází po zhruba ročním odkladu a do prodeje zamíří jako modelový rok 2027. Nabídne výkon 542 koní, pohon všech kol a podle americké metodiky EPA dojezd až 333 mil, tedy přibližně 536 kilometrů.

Akcie společnosti Shein padají. Investoři mají strach z regulací

Shein má za sebou dlouho očekávaný vstup na burzu. Akcie módního e-shopu začaly v Hongkongu obchodování poklesem a firma dnes stojí jen zlomek částky, na kterou ji investoři oceňovali na vrcholu. Za slabším debutem stojí obavy z pomalejšího růstu, vyšších nákladů i dalšího zpřísňování pravidel pro levné zásilky.

Evropskou satelitní síť posílí 18 platforem od OHB za téměř miliardu eur

Německá vesmírná společnost OHB získala jednu z prvních velkých zakázek v rámci evropského programu IRIS². Pro satelitního operátora SES vyvine a vyrobí 18 platforem pro družice na střední oběžné dráze. Hodnota uzavřené smlouvy dosahuje téměř jedné miliardy eur.
Reklama
Reklama
Reklama
Reklama