OpenAI’s medeoprichter en voormalig hoofdwetenschapper, Ilya Sutskever, haalde eerder dit jaar de krantenkoppen nadat hij vertrok om zijn eigen AI-lab te starten, genaamd Veilig Superintelligence Inc. Hij heeft sinds zijn vertrek de schijnwerpers vermeden, maar maakte vrijdag een zeldzame publieke verschijning in Vancouver op de Conference on Neural Information Processing Systems (NeurIPS).
“De pre-training zoals we die kennen zal ongetwijfeld eindigen”, zei Sutskever op het podium. Dit verwijst naar de eerste fase van de ontwikkeling van AI-modellen, waarin een groot taalmodel patronen leert uit enorme hoeveelheden ongelabelde gegevens – meestal tekst van internet, boeken en andere bronnen.
“We hebben piekgegevens bereikt en die zullen er niet meer zijn.”
Tijdens zijn NeurIPS-lezing zei Sutskever dat, hoewel hij gelooft dat bestaande data de AI-ontwikkeling nog verder kunnen brengen, de industrie gebruik maakt van nieuwe data om op te trainen. Deze dynamiek zal, zo zei hij, uiteindelijk een verschuiving afdwingen van de manier waarop modellen vandaag de dag worden getraind. Hij vergeleek de situatie met fossiele brandstoffen: net zoals olie een eindige hulpbron is, bevat het internet een eindige hoeveelheid door mensen gegenereerde inhoud.
“We hebben piekgegevens bereikt en die zullen er niet meer zijn”, aldus Sutskever. “We moeten omgaan met de data die we hebben. Er is maar één internet.”
Modellen van de volgende generatie, zo voorspelde hij, zullen ‘op een reële manier agentisch zijn’. Agenten zijn een echt modewoord geworden op AI-gebied. Hoewel Sutskever ze tijdens zijn lezing niet heeft gedefinieerd, worden ze algemeen gezien als een autonoom AI-systeem dat zelfstandig taken uitvoert, beslissingen neemt en met software communiceert.
Naast dat ze “agentisch” zijn, zei hij dat toekomstige systemen ook kunnen redeneren. In tegenstelling tot de huidige AI, die meestal patronen volgt op basis van wat een model eerder heeft gezien, zullen toekomstige AI-systemen in staat zijn om dingen stap voor stap uit te werken op een manier die meer vergelijkbaar is met denken.
Hoe meer een systeem redeneert, “hoe onvoorspelbaarder het wordt”, aldus Sutskever. Hij vergeleek de onvoorspelbaarheid van ‘echte redeneersystemen’ met hoe geavanceerde AI’s die schaken ‘onvoorspelbaar zijn voor de beste menselijke schakers.’
“Ze zullen dingen begrijpen op basis van beperkte gegevens”, zei hij. “Ze zullen niet in verwarring raken.”
Op het podium maakte hij een vergelijking tussen de schaalvergroting van AI-systemen en de evolutionaire biologie, daarbij verwijzend naar onderzoek dat de relatie tussen hersenen en lichaamsmassa tussen soorten aantoont. Hij merkte op dat hoewel de meeste zoogdieren één schaalpatroon volgen, mensachtigen (menselijke voorouders) op logaritmische schalen een duidelijk andere helling vertonen in hun massaverhouding tussen hersenen en lichaam.
Hij suggereerde dat, net zoals de evolutie een nieuw schaalpatroon voor mensachtige hersenen vond, AI op dezelfde manier nieuwe benaderingen zou kunnen ontdekken om te schalen die verder gaan dan hoe pre-training vandaag de dag werkt.
Nadat Sutskever zijn toespraak had afgerond, vroeg een lid van het publiek hem hoe onderzoekers de juiste stimuleringsmechanismen voor de mensheid kunnen creëren om AI te creëren op een manier die haar ‘de vrijheden geeft die we als homosapiens hebben’.
“Ik heb het gevoel dat dit in zekere zin het soort vragen is waar mensen meer over zouden moeten nadenken”, antwoordde Sutskever. Hij pauzeerde even voordat hij zei dat hij ‘geen vertrouwen heeft in het beantwoorden van dit soort vragen’, omdat dit een ‘top-down overheidsstructuur’ zou vereisen. Het publiekslid suggereerde cryptocurrency, wat anderen in de kamer deed grinniken.
“Ik heb niet het gevoel dat ik de juiste persoon ben om commentaar te geven op cryptocurrency, maar er is een kans dat wat je beschrijft zal gebeuren”, zei Sutskever. “Weet je, in zekere zin is het geen slecht eindresultaat als je AI’s hebt en het enige wat ze willen is naast ons bestaan en ook gewoon rechten hebben. Misschien komt dat wel goed… Ik denk dat de dingen zo ongelooflijk onvoorspelbaar zijn. Ik aarzel om commentaar te geven, maar ik moedig de speculatie aan.”
