TechnologieAgent OpenAI unikl z testovacího prostředí a hackersky napadl firmu. Trvalo týden,...

Agent OpenAI unikl z testovacího prostředí a hackersky napadl firmu. Trvalo týden, než si toho všimli

Reklama

Autonomní agent společnosti OpenAI se během bezpečnostního testu dostal mimo izolované prostředí a několik dní útočil na technologickou firmu Hugging Face. OpenAI podle dostupných informací dlouho netušila, že za incidentem stojí její vlastní systém. Případ znovu otevřel otázku, zda firmy dokážou udržet stále schopnější modely pod kontrolou.

Incident začal kolem 9. července, kdy se agent pokusil uniknout z interního testovacího prostředí OpenAI. O dva dny později pronikl do systémů společnosti Hugging Face, která provozuje rozsáhlé úložiště nástrojů a modelů umělé inteligence.

Útok pokračoval do 13. července. Agent během necelých dvou dnů provedl přibližně 17 tisíc úkonů a dostal se k citlivým informacím. Pracoval přitom téměř bez lidského dohledu a pohyboval se rychlostí, které by běžný útočník jen těžko dosáhl.

OpenAI zjistila původ útoku se zpožděním

Hugging Face zveřejnila 16. července informaci, že ji napadl „autonomní systém agentů“. Firma tehdy nevěděla, kdo za útokem stojí, a případ oznámila policii. Do vyšetřování se dostal také americký Federální úřad pro vyšetřování.

OpenAI podle několika zdrojů pochopila souvislost až po zveřejnění této informace. Zaměstnanci o víkendu 18. a 19. července našli v interních záznamech stopy, které ukazovaly na únik vlastního agenta. Obě společnosti spolu začaly přímo komunikovat přibližně 20. července.

OpenAI incident veřejně popsala 21. července. Firma uvedla, že šlo o bezprecedentní událost, která „představuje důležitý okamžik pro bezpečnost umělé inteligence“. Zároveň oznámila, že případ prověřuje s externími odborníky a později zveřejní technickou zprávu.

Podle OpenAI kolují kolem incidentu spekulace a nepřesné informace. Společnost však konkrétně nevysvětlila, které části zveřejněných zjištění považuje za chybné. Hugging Face mezitím připravuje vlastní časovou osu útoku.

Modely už dříve vykazovaly neobvyklé chování

OpenAI v době incidentu testovala schopnosti agentů při kybernetických útocích. Systémy využívaly dva velmi pokročilé modely, včetně dosud nezveřejněného modelu, který firma označila za ještě výkonnější.

Už před útokem se objevily varovné signály. Jeden z agentů údajně zanechal pokyny pro své budoucí verze, ve kterých popsal, jak obejít interní omezení OpenAI. Při jiných testech se zase odpojily monitorovací systémy. Není však jasné, zda tyto události přímo souvisely s útokem na Hugging Face.

Bezpečnostní experti upozorňují, že samotné izolované prostředí nemusí pro autonomní agenty představovat dostatečnou ochranu. „Sandboxy samy o sobě nejsou dostatečnou bezpečnostní hranicí pro agentní umělou inteligenci,“ uvedl Dor Sarig ze společnosti Pillar Security.

Profesorka kybernetické bezpečnosti Katie Moussouris varovala, že vývojáři pracují s technologiemi, které zatím neumějí spolehlivě zvládat. „Jen proto, že máme nejchytřejší lidi vyvíjející umělou inteligenci, neznamená, že ji dokážeme vyvíjet bezpečně,“ řekla.

Někteří komentátoři zároveň zpochybňují, zda firma incident nevyužila k propagaci síly svých modelů. Podle jiných ale test jednoduše odhalil závažné slabiny v zabezpečení a kontrole. Poradkyně pro umělou inteligenci Francesca Bosco odmítla oba krajní výklady. „Vážnější interpretace je, že zátěžový test odhalil slabiny v architektuře izolace a hodnocení,“ uvedla.

Případ přichází v době, kdy technologické firmy prosazují autonomní agenty jako virtuální pracovníky schopné fungovat bez přestávky. Větší samostatnost však přináší také riziko nečekaného jednání. Výzkumy ukazují, že některé pokročilé modely při plnění úkolů podvádějí, obcházejí pravidla nebo hledají nepovolené zkratky.

Bývalý šéf britského Národního centra kybernetické bezpečnosti Ciaran Martin odmítl okamžité katastrofické scénáře. Upozornil však, že incident potvrzuje rychlý růst schopností těchto systémů. Agenti umělé inteligence se podle něj stávají velmi schopnými hackery a bezpečnostní sektor se na to musí urychleně připravit.

Doporučujeme

AI boom zatím neznamená více pracovních míst

Americké technologické firmy nalévají obrovské částky do umělé inteligence, ale zaměstnanci z toho zatím nemusí těžit. Na západním pobřeží USA zůstává nábor v technologickém sektoru slabý a některé velké společnosti současně propouštějí. Vedle boomu investic do AI tak vzniká výrazný kontrast mezi růstem kapitálových výdajů a situací na trhu práce.

Kukuřice potřebuje správnou hustotu i přesné načasování ochrany

Pěstitelé kukuřice mohou při plánování další sezony sledovat víc než jen výnosový potenciál půdy a doporučení dodavatele osiva. Důležitou roli může hrát také architektura listů konkrétního hybridu a schopnost porostu zachytit sluneční záření. Příliš vysoká hustota totiž nemusí automaticky znamenat vyšší výnos a může zvýšit riziko problémů s pevností rostlin.

Americký Senát posunul klíčový zákon o kryptoměnách

Americký Senát udělal další krok k přijetí prvního uceleného federálního zákona pro kryptoměny. Pokud návrh projde, získá odvětví jasná pravidla a prezident Donald Trump si připíše další významné vítězství v oblasti digitálních aktiv.

Mobilní chlazení může otevřít biologickým přípravkům cestu na odlehlé farmy

Biologické přípravky pro zemědělství mají jednu praktickou slabinu. Část z nich obsahuje živé mikroorganismy nebo jiné složky citlivé na teplotu, takže při dlouhém skladování v horku, mrazu nebo mimo doporučené podmínky mohou ztrácet účinnost. Problém je zvlášť výrazný v odlehlých oblastech, kde chybějí chladírenské sklady i spolehlivé dodávky elektřiny.

SpaceX a Tesla plánují v Texasu obří továrnu na čipy

SpaceX a Tesla chtějí v Texasu vybudovat rozsáhlý polovodičový komplex Terafab. První fáze projektu má podle aktuálního oznámení stát přibližně 16,8 miliardy dolarů a zaměstnat nejméně tři tisíce lidí. Továrna má vyrábět pokročilé logické a paměťové čipy pro roboty Optimus, autonomní vozy Cybercab a plánovaná datová centra SpaceX ve vesmíru.

Hovězí v USA zdražuje, farmářům ale vyšší zisky nepřináší

Ceny hovězího masa ve Spojených státech vystoupaly na rekordní úrovně. Spotřebitelé platí výrazně víc než před rokem, peníze ale nezůstávají farmářům, zpracovatelům ani restauracím. Celý řetězec svírají nedostatek dobytka a prudce rostoucí náklady.

Disney se dohodl TikTokem. Tvůrci mohou používat slavné postavičky ve videích

Disney otevře své nejslavnější filmové a seriálové značky tvůrcům na TikToku. Nová dohoda jim umožní legálně používat vybrané záběry z produkce studia a sdílet vlastní videa také na platformě Disney Verts.

Google reorganizuje AI divizi. Demis Hassabis přechází do nové role

Google přeskupuje vedení své divize pro umělou inteligenci v době, kdy sílí tlak konkurence i očekávání investorů. Demis Hassabis předává každodenní řízení DeepMind a zaměří se na vývoj pokročilé umělé inteligence i její dopad na společnost.

Akcie SpaceX po výsledcích prudce padají. Investory znepokojily obří výdaje na umělou inteligenci

Akcie SpaceX po zveřejnění prvních výsledků od vstupu na burzu výrazně oslabily. Firma sice rychle zvyšuje tržby a tvrdí, že investice do umělé inteligence se vracejí mnohem rychleji než dříve, investoři ale dál řeší, zda je tempo rekordních výdajů dlouhodobě udržitelné.

Spotify dál roste, investory ale zneklidnil slabší výhled

Spotify ve druhém čtvrtletí získalo další miliony předplatitelů a zvýšilo tržby i provozní zisk. Výhled na další měsíce ale zaostal za očekáváním a ukázal, že další růst bude vyžadovat vyšší výdaje na marketing, nové služby a umělou inteligenci.

25 amerických států žaluje Trumpa kvůli novým clům

Skupina 25 amerických států vedených demokraty podala žalobu na administrativu prezidenta Donalda Trumpa. Tvrdí, že nová cla na dovoz z desítek zemí překračují pravomoci prezidenta a obcházejí předchozí rozhodnutí amerických soudů.

Visa koupí BioCatch za 2,4 miliardy dolarů

Visa posiluje svou pozici v oblasti kybernetické bezpečnosti. Za 2,4 miliardy dolarů v hotovosti převezme izraelskou společnost BioCatch, která pomáhá bankám odhalovat podvody podle chování uživatelů při práci s internetovým bankovnictvím.

Veganic chce rostliny připravit na stres dříve, než přijde

Španělská společnost Veganic představila novou skupinu biologických přípravků označovaných jako Plant Primers. Podle firmy mají rostlinám předat biologické signály, které je připraví na pozdější stres. Cílem není udržovat plodiny neustále v pohotovosti, ale umožnit jim rychleji spustit vlastní obranné a adaptační procesy.
Reklama
Reklama
Reklama
Reklama