Waarde uit data halen: hoe AI-agenten 2024 veroverden

Als 2023 het jaar was van generatieve AI-aangedreven chatbots en zoekopdrachten, stond 2024 helemaal in het teken van AI-agenten. Wat eerder dit jaar bij Devin begon, groeide uit tot een volwaardig fenomeen, dat bedrijven en individuen een manier biedt om de manier waarop ze werken op verschillende niveaus te transformeren, van programmeren en ontwikkelen tot persoonlijke taken zoals het plannen en boeken van kaartjes voor een vakantie.

Onder deze uiteenlopende toepassingen zagen we dit jaar ook de opkomst van data-agents: AI-aangedreven agenten die verschillende soorten taken in de hele data-infrastructuur uitvoeren. Sommigen deden de basisgegevensintegratie, terwijl anderen downstream-taken uitvoerden, zoals analyse en beheer in de pijplijn, waardoor zaken eenvoudiger en gemakkelijker werden voor zakelijke gebruikers.

De voordelen waren verbeterde efficiëntie en kostenbesparingen, waardoor velen zich afvroegen: hoe zullen de zaken de komende jaren veranderen voor datateams?

Gen AI Agents namen datataken over

Hoewel agentische mogelijkheden al een tijdje bestaan, waardoor bedrijven bepaalde basistaken kunnen automatiseren, heeft de opkomst van generatieve AI de zaken volledig naar een hoger niveau getild.

Met de mogelijkheden voor natuurlijke taalverwerking en het gebruik van tools van de generatie AI kunnen agenten verder gaan dan eenvoudig redeneren en antwoorden en daadwerkelijk acties in meerdere stappen plannen, onafhankelijk communiceren met digitale systemen om acties te voltooien en tegelijkertijd samenwerken met andere agenten en mensen. Ze leren ook om hun prestaties in de loop van de tijd te verbeteren.

Devin van Cognition AI was het eerste grote agentaanbod dat technische operaties op schaal mogelijk maakte. Vervolgens begonnen grotere spelers meer gerichte zakelijke en persoonlijke agenten aan te bieden, aangedreven door hun modellen.

In een gesprek met VentureBeat eerder dit jaar zei Gerrit Kazmaier van Google Cloud dat hij van klanten hoorde dat hun dataprofessionals voortdurend voor uitdagingen stonden, waaronder het automatiseren van handmatig werk voor datateams, het verkorten van de cyclustijd van datapijplijnen en -analyses en het vereenvoudigen van databeheer. In wezen hadden de teams geen tekort aan ideeën over hoe ze waarde uit hun data konden creëren, maar ze misten wel de tijd om die ideeën uit te voeren.

Om dit op te lossen, legde Kazmaier uit, heeft Google BigQuery, het belangrijkste data-infrastructuuraanbod, vernieuwd met Gemini AI. De resulterende agentische mogelijkheden bieden bedrijven niet alleen de mogelijkheid om data te ontdekken, op te schonen en voor te bereiden voor downstream-applicaties – waardoor datasilo’s worden afgebroken en kwaliteit en consistentie worden gewaarborgd – maar ze ondersteunen ook pijplijnbeheer en -analyse, waardoor teams de ruimte krijgen om zich te concentreren op taken met een hogere waarde.

Tegenwoordig maken meerdere ondernemingen gebruik van de agentische mogelijkheden van Gemini in BigQuery, waaronder fintech-bedrijven Meer dandat een beroep deed op het vermogen van Gemini om complexe datastructuren te begrijpen om het proces voor het genereren van query’s te automatiseren. Japans IT-bedrijf Onberispelijk maakt ook gebruik van Gemini SQL-generatiemogelijkheden in BigQuery om de datateams te helpen sneller inzicht te krijgen.

Maar het ontdekken, voorbereiden en assisteren bij de analyse was nog maar het begin. Naarmate de onderliggende modellen evolueerden, werden zelfs gedetailleerde databewerkingen – ontwikkeld door startups die gespecialiseerd waren in hun respectievelijke domeinen – het doelwit van diepere, door agenten aangestuurde automatisering.

Bijvoorbeeld, LuchtByte en Fastn haalden de krantenkoppen in de categorie data-integratie. De eerste lanceerde een assistent die binnen enkele seconden dataconnectoren maakte op basis van een API-documentatielink. Ondertussen heeft laatstgenoemde zijn bredere aanbod voor applicatieontwikkeling uitgebreid met agenten die API’s van bedrijfsniveau genereerden (of het nu gaat om het lezen of schrijven van informatie over welk onderwerp dan ook) met behulp van alleen een beschrijving in natuurlijke taal.

Het in San Francisco gevestigde Altimate AI richtte zich op zijn beurt op verschillende databewerkingen, waaronder documentatie, testen en transformaties, met een nieuwe DataMates-technologie, die agentische AI ​​gebruikte om context uit de hele datastack te halen. Meerdere andere startups, waaronder Redbird en RapidCanvas, werkten ook in dezelfde richting en beweerden AI-agents aan te bieden die tot 90% van de datataken kunnen afhandelen die nodig zijn in AI- en analysepijplijnen.

Agenten die RAG aandrijven en meer

Naast uitgebreide gegevensbewerkingen zijn ook agentische mogelijkheden onderzocht op gebieden als retrieval-augmentedgeneration (RAG) en stroomafwaartse workflowautomatisering. Bijvoorbeeld het team achter de vectordatabase Weaviat besprak onlangs het idee van agentic RAG, een proces waarmee AI-agenten toegang krijgen tot een breed scala aan tools – zoals zoeken op internet, een rekenmachine of een software-API (zoals Slack/Gmail/CRM) – om gegevens uit meerdere bronnen op te halen en te valideren om de nauwkeurigheid van antwoorden.

Verder verscheen tegen het einde van het jaar Snowflake Intelligence, waardoor bedrijven de mogelijkheid kregen om data-agents op te zetten die niet alleen konden profiteren van business intelligence-gegevens die zijn opgeslagen in hun Snowflake-instantie, maar ook van gestructureerde en ongestructureerde gegevens in silo’s van externe tools. zoals verkooptransacties in een database, documenten in kennisbanken zoals SharePoint en informatie in productiviteitstools zoals Slack, Salesforce en Google Workspace.

Met deze aanvullende context brengen de agenten relevante inzichten naar voren als antwoord op natuurlijke taalvragen en ondernemen ze specifieke acties rond de gegenereerde inzichten. Een gebruiker kan bijvoorbeeld zijn gegevensagent vragen de verzamelde inzichten in een bewerkbaar formulier in te voeren en het bestand naar Google Drive te uploaden. Ze kunnen zelfs worden gevraagd om naar Snowflake-tabellen te schrijven en indien nodig gegevenswijzigingen aan te brengen.

Er komt nog veel meer

Hoewel we misschien niet elke toepassing van data-agents hebben behandeld die we dit jaar hebben gezien of aangekondigd, is één ding vrij duidelijk: de technologie is een blijvertje. Naarmate de generatie AI-modellen blijven evolueren, zal de acceptatie van AI-agenten op volle kracht evolueren, waarbij de meeste organisaties, ongeacht hun sector of omvang, ervoor kiezen om repetitieve taken te delegeren aan gespecialiseerde agenten. Dit zal zich direct vertalen in efficiëntieverbeteringen.

Als bewijs hiervan blijkt uit een recent onderzoek onder 1.100 tech-managers, uitgevoerd door Capgemini82% van de respondenten zei dat ze van plan zijn om op AI gebaseerde agenten binnen de komende drie jaar in hun stacks te integreren – een stijging ten opzichte van de huidige 10%. Belangrijker nog is dat maar liefst 70 tot 75% van de respondenten zei dat ze erop zouden vertrouwen dat een AI-agent namens hen gegevens zou analyseren en synthetiseren, en ook taken zou uitvoeren zoals het genereren en iteratief verbeteren van code.

Deze door agenten aangestuurde verschuiving zou ook aanzienlijke veranderingen met zich meebrengen in de manier waarop datateams functioneren. Momenteel zijn de resultaten van agenten niet op productieniveau, wat betekent dat een mens het op een gegeven moment moet overnemen om het werk af te stemmen op hun behoeften. Met nog een paar verbeteringen in de komende jaren zal deze kloof hoogstwaarschijnlijk verdwijnen – waardoor teams AI-agenten krijgen die sneller, nauwkeuriger en minder gevoelig zijn voor de fouten die gewoonlijk door mensen worden gemaakt.

Kortom, de rollen van datawetenschappers en -analisten die we vandaag de dag zien, zullen waarschijnlijk veranderen, waarbij gebruikers mogelijk naar het AI-toezichtdomein zullen verhuizen (waar ze de acties van AI in de gaten kunnen houden) of naar taken met een hogere waarde die het systeem kan uitvoeren. kon moeite hebben om te presteren.