Intel Vision 2024: Gaudi 3 a další novinky ze světa umělé inteligence

Konference Intel Vision 2024 proběhla 8. a 9. dubna ve Phoenixu v Arizoně a její součástí byla např. i Experience Lounge, kde společnost Intel a její partneři vystavovali řadu technologií v oblastech umělé inteligence, udržitelnosti, bezpečnosti, maloobchodu, softwaru a výroby. V souhrnu přinesl Intel Vision dva informačně nabité dny, které na jedno místo přivedli vedoucí pracovníky v oblasti podnikání a technologií a nastínily, kam se budou podnikové technologie, služby a řešení Intelu v oblasti umělé inteligence ubírat v bližší i vzdálenější budoucnosti.

Gaudi 3 přinese možnost volby

Hlavním benefitem nového AI akcelerátoru Gaudi 3 je podle Intelu možnost nabídnout alternativu, díky které nebudou zákazníci v oblasti řešení pro generativní umělou inteligenci odkázáni jen na jednoho až dva hlavní dodavatele, ale budou moci volit z širší nabídky adekvátních řešení (a to včetně otevřenému komunitnímu softwaru a standardní ethernetové síti pro flexibilnější škálování jejich systémů).

Akcelerátor Intel Gaudi 3 staví na oceňovaných vlastnostech svého předchůdce Gaudi 2, mezi které patří např. výkon a škálovatelnost. Gaudi 3 přináší čtyřnásobné zvýšení výpočetní kapacity pro AI (BF16), 1,5násobné zvýšení šířky paměťového pásma a dvounásobné zvýšení šířky síťového pásma, což představuje významný skok ve výkonu a produktivitě pro trénování a odvozování umělé inteligence na populárních velkých jazykových (LLM) nebo multimodálních modelech.

Akcelerátor Intel Gaudi 3 byl navržen pro efektivní výpočty umělé inteligence ve velkém měřítku a je produkován prostřednictvím 5nm výrobního procesu (u TSMC). Použitá architektura umožňuje paralelní aktivaci všech typů výpočetních prostředků – kam spadá maticový násobič (Matrix Multiplication Engine - MME), tensor jádra páté generace (TPCs) a síťová rozhraní (NICs) – což přináší potřebnou akceleraci pro rychlé a efektivní výpočty na bázi hlubokého učení i jejich škálování.

Klíčové vlastnosti zahrnují:

• Výpočetní engine pro umělou inteligenci: Akcelerátor Intel Gaudi 3 byl speciálně vytvořen pro vysoce výkonné a efektivní výpočty GenAI. Každý akcelerátor je tak vybaven heterogenním výpočetním enginem, který se skládá ze 64 tensorových jader (TPC) a osmi MME. Každá z MME jednotek je schopna provádět 64 000 paralelních operací, což umožňuje dosahovat vysoké efektivity, díky čemuž jsou schopny zvládat komplexní maticové operace, což je pro algoritmy hlubokého učení zásadní typ výpočtu. Tato jedinečná konstrukce zvyšuje rychlost a efektivitu paralelních operací umělé inteligence a podporuje více datových typů, včetně FP8 a BF16.
• Rozšíření paměti: Intel Gaudi 3 nabídne 128 GB paměti HBMe2, šířku paměťového pásma 3,7 TB/s a 96 MB vestavěné statické paměti s náhodným přístupem (SRAM).
• Efektivní škálování: Každý akcelerátor Intel Gaudi 3 má integrováno 24 ethernetových portů s rychlostí 200 Gbps (což je dvounásobek oproti předchozí generace), které poskytují flexibilní a otevřené síťové připojení. Umožňují efektivní škálování pro podporu velkých výpočetních clusterů a eliminují vendor lock-in proprietárních výrobců. tkanin. Akcelerátor Intel Gaudi 3 je navržen pro efektivní škálování a rozšiřování od jednoho uzlu (s osmi jednotkami Gaudi) až po tisíce jednotek (1 024 nódů s 8 192 jednotkami Gaudi).
• Otevřený průmyslový software: Software Intel Gaudi integruje framework PyTorch a poskytuje optimalizované modely založené na komunitě Hugging Face - v současnosti nejrozšířenějším frameworku pro vývojáře GenAI. To vývojářům mimo jiné usnadňuje přenos modelů AI mezi různými typy hardwaru.
• Gaudi 3 v provedení PCIe: Novinkou této produktové řady je také provedení v podobě přídavné dvouslotové PCIe karty. Tato variant je přizpůsobena tak, aby přinášela vysokou efektivitu při nižší spotřebě, a je ideální pro pracovní zátěže, jako jsou jemné ladění, odvozování a generování rozšířeného vyhledávání (RAG). Výbava je totožná jako u klasického („full-height form factor) včetně 128GB paměti se šířkou pásma 3,7 TB/s. Příkon dosahuje 600 W (oproti 900 W u standardní varianty).

Výkon

Akcelerátor Intel Gaudi 3 slibuje výrazné zvýšení výkonu pro úlohy, jako jsou trénování a odvozování u nejpoužívanějších modelů GenAI. Intel slibuje výkon až 1 835 TFLOPS (FP8) a pro ilustraci přidává porovnání s akcelerátory Nvidia H100 a H200:

• o 50 % vyšší rychlost v případě modelů Llama2 se sedmi nebo 13ti miliardami parametrů a modelu GPT-3 se 175 miliardami parametrů;
• o 50 % rychlejší rychlejší odvozování (inference) a o 40 % vyšší energetická účinnost inference v modelech Llama 7B a 70B (sedm a 70 miliard parametrů) a Falcon (180 miliard) parametrů. A ještě větší výkonnostní výhoda inference u delších vstupních a výstupních sekvencí.
• O 30 % rychlejší inference na modelech s parametry Llama 7B a 70B a modelech s parametry Falcon 180B oproti řešení Nvidia H200.

Výhodou oproti řešením od Nvidie by měla být také podstatně nižší cena.

Dostupnost

Pro OEM výrobce bude Gaudi 3 ve standardních konfiguracích univerzální základní desky a otevřeného akceleračního modulu (OAM) dostupný ve druhém čtvrtletí letošního roku. Ve svých platformách jej nabídnout výrobci jako Dell Technologies, Hewlett Packard Enterprise, Lenovo a Supermicro.

Všeobecná dostupnost akcelerátorů Intel Gaudi 3 se předpokládá ve třetím čtvrtletí roku 2024 s tím, že varianta Intel Gaudi 3 PCIe by měla být k dispozici v posledním kvartálu roku 2024.

Procesory Intel Xeon 6

Společnost Intel představila také novou značku procesorů pro datová centra, cloud a edge s názvem Intel Xeon 6. Nové procesory Intel Xeon 6 představují výkonově efektivní řešení pro provoz současných systémů GenAI, včetně RAG, s využitím vlastních dat daných podniků.

Varianty procesorů Intel Xeon 6 s novými efektivními „E-jádry“ (Efficient) budou poskytovat výjimečnou efektivitu a na trh se dostanou již v tomto čtvrtletí. Verze CPU Intel Xeon 6 s „P-jádry“ jádry (Performance) nabídnou vyšší výkon a budou uvedeny na o něco později.

• Procesory Intel Xeon 6 s jádry typu E (kódové označení Sierra Forest) přinesou v porovnání s procesory Intel Xeon 2. generace 2,4× vyšší výkon na watt a 2,7× lepší hustota v racku. Zákazníci s nimi budou schopni nahradit starší systémy v poměru téměř 3:1, což výrazně snižuje spotřebu energie a pomáhá plnit cíle udržitelnosti.
• Procesory Intel Xeon 6 s jádry typu P (kódové označení Granite Rapids) zahrnují softwarovou podporu datového formátu MXFP4, který snižuje latenci „příštího tokenu“ až 6,5× oproti procesorům Intel Xeon 4. generace používajícím FP16. Procesory umožní provozovat modely Llama-2 se 70 miliardami parametrů.

Podniková platforma Intel Tiber Edge

Intel představil byznysovou platformu Tiber Edge, jejímž cílem je zjednodušit nasazení podnikového softwaru a služeb včetně řešení GenAI. Jednotné prostředí usnadní podnikovým zákazníkům a vývojářům používat a poskytovat řešení, která odpovídají jejich potřebám, urychlují inovace a uvolňují obchodní hodnotu, aniž by došlo ke kompromisům v oblasti zabezpečení, dodržování předpisů nebo výkonu. Zákazníci mohou začít zkoumat možnosti portfolia Intel Tiber již dnes, přičemž plné zavedení je plánováno na třetí čtvrtletí roku 2024.

Ve zkratce: novinky v oblastech klientských PC, edge a konektivity

Kromě novinek zaměřených na oblast umělé inteligence a datových center Intel představil aktuality z jiných tržních segmentů. Mezi nejdůležitější sdělení patří:

• Intel předpokládá, že se letos prodá asi 40 milionů počítačů s procesory Intel Core Ultra (a tedy hardwarovou podporou umělé inteligence). Půjde o více než 230 odlišných modelových typů v různých provedeních včetně ultratenkých počítačů, herních zařízení či kompaktních „handheldů“.
• Připravovaná nová generace procesorů Intel Core Ultra (s kódovým označením Lunar Lake), která bude na trh uvedena později v tomto roce, přinese celkový AI výkon více než 100 TOPS, samotná specializovaná NPU jednotka se na tomto výkonu bude podílet výkonem přesahujícím 45 TOPS. Budou tak splněny nároky společnost Intel možnost taková zařízení označovat jako „AI PC“.
• Intel rozšířil nabídku procesorů Intel Core Ultra, Intel Core a Intel Atom (x7000C Series a x7000RE Series) a grafických čipů Intel Arc pro segment edge, do kterého spadají produkty pro klíčové trhy včetně maloobchodu, průmyslové výroby a zdravotnictví. Všechny nové přírůstky v portfoliu Intel Edge AI budou k dispozici již v tomto čtvrtletí a nabídnou podporu platformy Intel Tiber Edge.