Grootste processor ooit gebouwd packs 1,2 biljoen transistors, laat top-end Intel en AMD CPU's en GPU's achter

Een bedrijf is erin geslaagd om de grootste verwerkingschip ooit te maken die alles overtreft wat Intel of AMD ooit heeft geproduceerd. Met een waanzinnige 1,2 biljoen transistors op de siliciumwafel is de processor verreweg de grootste halfgeleiderchip ooit gebouwd. Het bedrijf achter de processor is van plan de chip te wijden aan het stimuleren van kunstmatige intelligentie (AI).

De Cerebras Wafer Scale Engine, gemaakt door het nieuwe kunstmatige intelligentiebedrijf Cerebras Systems, is de grootste halfgeleiderchip ooit gebouwd. De centrale verwerkingseenheid of CPU heeft 1,2 biljoen transistors, de meest elementaire en essentiële aan-uit elektronische schakelaars van alle siliciumchips. De recentelijk door Advanced Micro Devices vervaardigde processor heeft 32 miljard transistors. Onnodig te vermelden dat het aantal transistors op Cerebras Wafer Scale Engine zelfs veel groter is dan de beste AMD- en Intel-CPU's en GPU's.

Cerebras Wafer Scale Engine is de grootste processor met één chip ooit gebouwd:

De Cerebras WSE is een gigantische 46.225 vierkante millimeter siliciumwafer met 400.000 AI-geoptimaliseerde, geen cache, geen overhead, rekenkernen en 18 gigabyte lokaal, gedistribueerd, supersnel SRAM-geheugen als het enige niveau van het geheugen hiërarchie. Ter vergelijking: de grootste NVIDIA GPU meet 815 vierkante millimeter en bevat 21,1 miljard transistors. Eenvoudige wiskunde geeft aan dat de Cerebras WSE 56,7 keer groter is dan de geavanceerde NVIDIA GPU.

De geheugenbandbreedte van de Cerebras WSE is 9 petabytes per seconde. Met andere woorden, 's werelds grootste processor beschikt over 3.000 keer meer high-speed, on-chip geheugen en 10.000 keer meer geheugenbandbreedte. De processorkernen zijn met elkaar verbonden via een fijnmazig, volledig hardware, on-chip mesh-verbonden communicatienetwerk. Dankzij de vereenvoudigde architectuur en de enorme matrijsgrootte, gecombineerd met ultrahoge bandbreedte, kan de processor een totale bandbreedte van 100 petabits per seconde leveren. Simpel gezegd, het grote aantal cores, het meer lokale geheugen en de fabric met lage latentie en hoge bandbreedte van de Cerebras WSE maken het een ideale processor om taken op het gebied van kunstmatige intelligentie aanzienlijk te versnellen.

Waarom maken Intel en AMD niet zulke op maat ontworpen enorme CPU's en GPU's?

Intel, AMD en de meeste andere makers van siliciumchips een heel andere en traditionele benadering hanteren. De algemeen verkrijgbare krachtige GPU's en CPU's zijn eigenlijk een verzameling chips die zijn gemaakt op een 12-inch siliciumwafer en die in een chipfabriek in een batch worden verwerkt. De Cerebras WSE daarentegen is een enkele chip die met elkaar is verbonden op een enkele wafer. Simpel gezegd, alle 1,2 biljoen transistors op de grootste processor werken echt samen als een enkele gigantische siliciumchip.

Er is een vrij simpele reden waarom bedrijven als Intel en AMD niet investeren in zulke waanzinnig grote siliciumwafers. Een enkele siliciumwafel heeft een paar onzuiverheden, die een cascade-effect kunnen hebben en uiteindelijk kunnen leiden tot storingen. Chipmakers zijn zich hiervan terdege bewust en bouwen hun processors dienovereenkomstig op. Daarom is de werkelijke opbrengst van de siliciumwafers in termen van betrouwbaar werkende siliciumchips vrij laag. Met andere woorden, als de siliciumwafel slechts één chip heeft, is de kans op onzuiverheden en defecten vrij groot.

Interessant is dat, terwijl andere bedrijven geen werkbare oplossing hebben bedacht, Cerebras naar verluidt zijn chip redundant heeft ontworpen. Simpel gezegd, één onzuiverheid zal niet de hele chip uitschakelen, merkte Andrew Feldman op, die Cerebras Systems medeoprichtte en fungeert als CEO. "De Cerebras WSE is van de grond af aan ontworpen voor AI-werk en bevat fundamentele innovaties die de state-of-the-art bevorderen door decennia-oude technische uitdagingen op te lossen die de chipafmetingen beperken - zoals cross-reticle-connectiviteit, opbrengst, vermogensafgifte en verpakking. Elke architectonische beslissing is genomen om de prestaties voor AI-werk te optimaliseren. Het resultaat is dat de Cerebras WSE, afhankelijk van de werkbelasting, honderden of duizenden keren de prestaties van bestaande oplossingen levert tegen een kleine fractie van het stroomverbruik en de ruimte. "

AI-taken zullen grotere chips blijven vragen:

De nieuwe processor is op maat gemaakt om AI-taken uit te voeren, voornamelijk omdat grotere chips informatie sneller verwerken en antwoorden in minder tijd produceren. De meeste technologiebedrijven beweren dat de fundamentele beperking van de huidige AI is dat het te lang duurt om modellen te trainen. Daarom proberen een paar technische leiders hun AI-algoritmen te optimaliseren om op minder datasets te vertrouwen. Elke goede AI wordt echter duidelijk beter met grotere datasets. Het verminderen van de trainingstijd door de CPU-grootte te vergroten, is een manier om de verwerking te stimuleren en de trainingstijd te verkorten zonder afbreuk te doen aan de kwaliteit van de resulterende AI.

De inter-processor communicatie-fabric die op de Cerebras WSE wordt geïmplementeerd, is ook uniek in zijn soort. De 2D-mesh met lage latentie en hoge bandbreedte verbindt alle 400.000 cores op de WSE met een totale bandbreedte van 100 petabits per seconde. Bovendien zijn de kernen op de processor Sparse Linear Algebra Cores (SLAC), die is geoptimaliseerd voor neurale netwerkprimitieven. Beide aspecten zetten de chip ver vooruit voor AI-taken. Daarom is het onwaarschijnlijk dat gamers de grootste en krachtigste CPU of GPU voor hun pc kunnen kopen.