Het einde van AI-schaling is misschien niet nabij: dit is het volgende

Terwijl AI-systemen bovenmenselijke prestaties leveren bij steeds complexere taken, worstelt de industrie met de vraag of grotere modellen überhaupt wel mogelijk zijn – of dat innovatie een andere weg moet inslaan.

De algemene benadering bij de ontwikkeling van grote taalmodellen (LLM) is geweest dat groter beter is, en dat de prestaties kunnen worden geschaald met meer gegevens en meer rekenkracht. Recente mediadiscussies hebben zich echter geconcentreerd op de manier waarop LLM’s hun grenzen naderen. “Loopt AI tegen een muur aan?” De rand ondervraagd, terwijl Reuters gemeld dat “OpenAI en anderen een nieuwe weg naar slimmere AI zoeken nu de huidige methoden tegen beperkingen aanlopen.”

De zorg is dat de schaalvergroting, die al jaren voor vooruitgang zorgt, zich mogelijk niet zal uitbreiden naar de volgende generatie modellen. Uit rapporten blijkt dat de ontwikkeling van grensverleggende modellen zoals GPT-5, die de huidige grenzen van AI verleggen, voor uitdagingen kan komen te staan ​​als gevolg van de afnemende prestatiewinst tijdens de pre-training. De informatie rapporteerde over deze uitdagingen op OpenAI en Bloomberg bedekt soortgelijk nieuws bij Google en Anthropic.

Deze kwestie heeft tot bezorgdheid geleid dat deze systemen mogelijk onderworpen zijn aan de wet van de afnemende opbrengsten – waarbij elke toegevoegde eenheid input steeds kleinere winsten oplevert. Naarmate LLM’s groter worden, stijgen de kosten voor het verkrijgen van hoogwaardige trainingsgegevens en het schalen van de infrastructuur exponentieel, waardoor het rendement op prestatieverbetering in nieuwe modellen afneemt. Deze uitdaging wordt nog groter gemaakt door de beperkte beschikbaarheid van nieuwe gegevens van hoge kwaliteit, aangezien veel van de toegankelijke informatie al is opgenomen in bestaande trainingsdatasets.

Dit betekent niet het einde van de prestatiewinst voor AI. Het betekent eenvoudigweg dat om de vooruitgang te ondersteunen verdere engineering nodig is door middel van innovatie in modelarchitectuur, optimalisatietechnieken en datagebruik.

Leren van de wet van Moore

Een soortgelijk patroon van afnemende rendementen deed zich voor in de halfgeleiderindustrie. Decennia lang had de industrie geprofiteerd van de wet van Moore, die voorspelde dat het aantal transistors elke 18 tot 24 maanden zou verdubbelen, wat tot dramatische prestatieverbeteringen zou leiden door kleinere en efficiëntere ontwerpen. Ook dit leidde uiteindelijk tot afnemende rendementen, ergens beginnend tussen 2005 en 2007 vanwege Dennard-schaalvergroting – het principe dat het verkleinen van transistors ook het stroomverbruik vermindert – heeft zijn grenzen bereikt die de voorspellingen van de toekomst hebben aangewakkerd dood van de wet van Moore.

Ik heb dit probleem van dichtbij gezien toen ik van 2012-2022 met AMD werkte. Dit probleem betekende niet dat halfgeleiders – en bij uitbreiding computerprocessors – van generatie op generatie geen prestatieverbeteringen meer bereikten. Het betekende wel dat verbeteringen meer voortkwamen uit chipletontwerpen, geheugen met hoge bandbreedte, optische schakelaars, meer cachegeheugen en versnelde computerarchitectuur dan uit het verkleinen van transistors.

Nieuwe wegen naar vooruitgang

Soortgelijke verschijnselen worden al waargenomen bij de huidige LLM’s. Multimodale AI-modellen zoals GPT-4o, Claude 3.5 en Gemini 1.5 hebben de kracht bewezen van het integreren van tekst- en beeldbegrip, waardoor verbeteringen mogelijk zijn in complexe taken zoals videoanalyse en contextuele beeldbijschriften. Een betere afstemming van algoritmen voor zowel training als gevolgtrekking zal tot verdere prestatieverbeteringen leiden. Agenttechnologieën, die LLM’s in staat stellen taken autonoom uit te voeren en naadloos te coördineren met andere systemen, zullen hun praktische toepassingen binnenkort aanzienlijk uitbreiden.

Toekomstige doorbraken in modellen kunnen voortkomen uit een of meer hybride AI-architectuurontwerpen die symbolisch redeneren combineren met neurale netwerken. Het o1-redeneermodel van OpenAI toont al het potentieel voor modelintegratie en prestatie-uitbreiding. Hoewel kwantumcomputing nu pas uit het vroege ontwikkelingsstadium komt, is het veelbelovend voor het versnellen van AI-training en gevolgtrekking door de huidige computationele knelpunten aan te pakken.

Het is onwaarschijnlijk dat de waargenomen schaalmuur een einde zal maken aan toekomstige winsten, aangezien de AI-onderzoeksgemeenschap consequent haar vindingrijkheid heeft bewezen bij het overwinnen van uitdagingen en het ontsluiten van nieuwe mogelijkheden en prestatieverbeteringen.

In feite is niet iedereen het erover eens dat er zelfs maar een schaalmuur bestaat. OpenAI-CEO Sam Altman was kort en bondig in zijn standpunt: “Er is geen muur.”

Sprekend over de “Dagboek van een CEO” podcast, ex-CEO van Google en co-auteur van Genesis Eric Schmidt was het in wezen met Altman eens en zei dat hij niet gelooft dat er een schaalmuur is – die zal er de komende vijf jaar in ieder geval niet zijn. ‘Over vijf jaar heb je nog twee of drie draaibewegingen van deze LLM’s. Elk van deze cranks ziet eruit alsof het een factor twee, factor drie, factor vier van de capaciteit is, dus laten we zeggen dat het draaien van de crank op al deze systemen 50 keer of 100 keer krachtiger wordt, “zei hij.

Toonaangevende AI-vernieuwers zijn nog steeds optimistisch over het tempo van de vooruitgang, evenals over het potentieel voor nieuwe methodologieën. Dit optimisme blijkt duidelijk uit a recent gesprek op “Lenny’s podcast” met OpenAI’s CPO Kevin Weil en Anthropic CPO Mike Krieger.

In deze discussie beschreef Krieger dat waar OpenAI en Anthropic vandaag de dag aan werken “als magie aanvoelt”, maar erkende dat we over slechts twaalf maanden “terugkijken en zeggen: kun je geloven dat we die rommel hebben gebruikt? … Zo snel gaat de ontwikkeling van AI.”

Het is waar: het voelt als magie, zoals ik onlangs heb ervaren toen ik OpenAI’s Advanced Voice Mode gebruikte. Spreken met ‘Juniper’ voelde volkomen natuurlijk en naadloos aan, en liet zien hoe AI evolueert om in realtime gesprekken met emotie en nuance te begrijpen en erop te reageren.

Krieger bespreekt ook het recente o1-model en noemt dit “een nieuwe manier om intelligentie op te schalen, en we hebben het gevoel dat we nog maar aan het begin staan.” Hij voegde eraan toe: “De modellen zullen steeds sneller slimmer worden.”

Deze verwachte vooruitgang suggereert dat hoewel traditionele schaalbenaderingen op de korte termijn wel of niet met afnemende rendementen te maken zullen krijgen, het AI-veld klaar is voor verdere doorbraken via nieuwe methodologieën en creatieve engineering.

Maakt schaalvergroting überhaupt uit?

Hoewel uitdagingen op het gebied van schaalvergroting een groot deel van het huidige discours rond LLM’s domineren, suggereren recente studies dat de huidige modellen al tot buitengewone resultaten in staat zijn, wat de provocerende vraag oproept of meer schaalvergroting er überhaupt toe doet.

A recente studie voorspeld dat ChatGPT artsen zou helpen diagnoses te stellen wanneer ze ingewikkelde patiëntencasussen voorgelegd kregen. Het onderzoek werd uitgevoerd met een vroege versie van GPT-4 en vergeleek de diagnostische mogelijkheden van ChatGPT met die van artsen met en zonder AI-hulp. Een verrassende uitkomst onthulde dat ChatGPT alleen aanzienlijk beter presteerde dan beide groepen, inclusief artsen die AI-hulpmiddelen gebruikten. Daar zijn verschillende redenen voor, van het gebrek aan begrip van artsen over hoe ze de bot het beste kunnen gebruiken tot hun overtuiging dat hun kennis, ervaring en intuïtie inherent superieur waren.

Dit is niet het eerste onderzoek waaruit blijkt dat bots superieure resultaten behalen in vergelijking met professionals. VentureBeat rapporteerde eerder dit jaar over een onderzoek waaruit bleek dat LLM’s analyses van financiële overzichten kunnen uitvoeren met een nauwkeurigheid die vergelijkbaar is met die van professionele analisten (en zelfs overtreft). Ook met behulp van GPT-4 was een ander doel het voorspellen van de toekomstige winstgroei. GPT-4 behaalde een nauwkeurigheid van 60% bij het voorspellen van de richting van toekomstige inkomsten, aanzienlijk hoger dan het bereik van 53 tot 57% van de voorspellingen van menselijke analisten.

Opvallend is dat beide voorbeelden gebaseerd zijn op modellen die al verouderd zijn. Deze uitkomsten onderstrepen dat bestaande LLM’s zelfs zonder nieuwe doorbraken op schaal al in staat zijn om beter te presteren dan experts in complexe taken, waardoor veronderstellingen over de noodzaak van verdere schaalvergroting om impactvolle resultaten te bereiken ter discussie worden gesteld.

Schalen, vaardigheden of beide

Deze voorbeelden laten zien dat de huidige LLM’s al zeer capabel zijn, maar dat schaalvergroting alleen niet de enige weg voorwaarts kan zijn voor toekomstige innovatie. Maar nu meer schaalvergroting mogelijk is en andere opkomende technieken beloven de prestaties te verbeteren, weerspiegelt het optimisme van Schmidt het snelle tempo van de vooruitgang op het gebied van AI, wat suggereert dat modellen in slechts vijf jaar kunnen uitgroeien tot polymaths, die naadloos complexe vragen op meerdere terreinen kunnen beantwoorden.

Of het nu gaat om schaalvergroting, vaardigheid of geheel nieuwe methodologieën, de volgende grens van AI belooft niet alleen de technologie zelf te transformeren, maar ook de rol ervan in ons leven. De uitdaging die voor ons ligt is ervoor te zorgen dat de vooruitgang voor iedereen verantwoordelijk, rechtvaardig en impactvol blijft.

Gary Grossman is EVP van de technologiepraktijk bij Edelman en wereldleider van het Edelman AI Center of Excellence.