Sophos předvídá útočné techniky založené na AI a připravuje se na jejich detekci
S cílem krást přihlašovací údaje a údaje z kreditních karet uživatelů dokázal tým bezpečnostních expertů Sophos X-Ops za použití jednoduché šablony internetového obchodu a nástrojů LLM jako GPT-4 vytvořit plně funkční webovou stránku s obrázky, zvuky a popisy produktů generovanými AI, s falešným přihlášením přes Facebook a podvrženou stránkou pro zaplacení nákupu. Vytvoření a provoz takové webové stránky vyžadovaly jen minimální technické znalosti, přičemž pomocí stejného nástroje dokázali specialisté týmu Sophos X-Ops vytvořit stovky podobných e-shopů, a to během několika minut a pomocí jediného stisku tlačítka.
„Je přirozené a očekávané, že se zločinci obracejí k novým automatizačním technologiím. Původní vytváření nevyžádaných e-mailů bylo zásadním posunem v technologii podvodů, protože rozšířilo pole působnosti. Nové technologie umělé inteligence jsou připraveny způsobit totéž. Pokud existuje technologie umělé inteligence, která dokáže vytvořit kompletní automatizované hrozby, lidé ji nakonec použijí. Již jsme se setkali s integrací generativních prvků AI, jako je text nebo fotografie generované AI, do klasických podvodů, které mají nalákat oběti. Tento výzkum jsme ale prováděli mimo jiné proto, abychom před zločinci získali náskok. Vytvořením systému pro rozsáhlé generování podvodných webových stránek, který je pokročilejší než nástroje používané kyberzločinci, máme jedinečnou příležitost analyzovat hrozby a připravit se na ně dříve, než se rozšíří,“ řekl Ben Gelman, senior data scientist ve společnosti Sophos.
Kyberzločinci se nemohou shodnout na GPT
Tým bezpečnostních expertů Sophos X-Ops ve svém výzkumu postojů útočníků k AI zkoumal čtyři významná fóra na dark webu, kde se diskutovalo o LLM. Zatímco se zdá, že kyberzločinci jsou ve využívání AI teprve v počátečních fázích, aktéři hrozeb na dark webu diskutují o jejím potenciálu v oblasti sociálního inženýrství. Specialisté týmu Sophos X-Ops se již setkali s využitím umělé inteligence při romantických podvodech s kryptoměnami.
Kromě toho tým Sophos X-Ops zjistil, že většina diskusních příspěvků se týkala kompromitovaných účtů v ChatGPT určených k prodeji a tzv. jailbreakům, tedy způsobům, jak obejít ochrany zabudované do LLM, aby je kyberzločinci mohli zneužít ke škodlivým účelům. Tým Sophos X-Ops také nalezl deset derivátů ChatGPT, které podle jejich tvůrců mohly být použity ke kybernetickým útokům a k vývoji malwaru. Reakce aktérů hrozeb na tyto deriváty a další škodlivé možnosti využití LLM byly ale smíšené. Mnozí kyberzločinci navíc vyjádřili obavy, že se je tvůrci napodobenin ChatGPT snaží podvést.
„Přestože od uvedení ChatGPT panují značné obavy ze zneužití AI a LLM kyberzločinci, náš výzkum zjistil, že aktéři hrozeb jsou zatím spíše skeptičtí než nadšení. Ve dvou ze čtyř fór na dark webu, která jsme zkoumali, jsme našli pouze 100 příspěvků o umělé inteligenci. To je velmi málo ve srovnání s kryptoměnami, kde jsme za stejné období našli 1 000 příspěvků. Zaznamenali jsme, že se někteří kyberzločinci pokoušeli pomocí LLM vytvořit malware nebo útočné nástroje, ale výsledky byly primitivní a často se setkaly se skeptickým přístupem ostatních uživatelů. V jednom případě chtěl útočník předvést potenciál služby ChatGPT, ale ve skutečnosti neúmyslně odhalil významné informace o své skutečné identitě. Našli jsme i četné „úvahy“ o možných negativních dopadech AI na společnost a etických důsledcích jejího používání. Jinými slovy, alespoň prozatím se zdá, že kyberzločinci vedou o LLM stejné debaty jako my ostatní,“ řekl Christopher Budd, ředitel výzkumu týmu X-Ops ve společnosti Sophos.
Další informace o podvodných webových stránkách generovaných umělou inteligencí a o postoji kyberútočníků k LLM najdete ve studiích Temná strana umělé inteligence: Generativní umělá inteligence umožňuje provádět rozsáhlé podvodné kampaně a Kyberzločinci se nemohou shodnout na GPT na Sophos.com.
