Hoe Yelp LLM -concurrentie beoordeelt voor zuiverheid, relevantie en toon om zijn gebruiker -vriendelijke AI -assistent te ontwikkelen

Review -app blaffen Diner en andere consumenten krijgen al tientallen jaren nuttige informatie. Het gebruikte machine learning vanaf de vroege jaren. Tijdens de recente explosie in AI -technologie werd het nog steeds geconfronteerd met struikelen omdat het werkte om moderne grote taalmodellen te gebruiken om enkele kenmerken kracht te geven.

Yelp was van mening dat de klanten, vooral degenen die vroeger de app gebruikten, soms moeite hebben om lid te worden van hun AI-functies, zoals AI-geopereerde assistenten.

“Een duidelijke les die we zagen is dat iets dat we zagen heel gemakkelijk te maken is dat er kalm uitziet, maar is erg moeilijk om iets te maken dat er kalm en zeer nuttig uitziet.”

Dit was zeker niet allemaal gemakkelijk. Voor het bredere bereik van klanten in april 2024, na de lancering van zijn AI-geïntegreerde dienstenonderzoekassistent, Yelp Assistant, begon Yelp de cijfers voor hun AI-tools te weigeren.

“Wat ons verbaasde, was toen we het lanceerden als een bèta voor consumenten – sommige gebruikers en mensen die erg bekend zijn met de app – (en zij) vonden het geweldig. We hebben zo’n sterke indicatie gekregen dat het succesvol zou zijn, en toen rolden we het voor iedereen, (en) de uitvoering viel gewoon, ”zei Saldanha. “Het heeft lang geduurd om erachter te komen waarom.”

Er werd ontdekt dat de meer casual gebruikers van de Yelp, die soms de site of app bezochten om een ​​nieuwe kleermaker of loodgieter te vinden, niet naar verwachting onmiddellijk met de AI -vertegenwoordiger zouden praten.

AI -faciliteiten van eenvoudig tot meer

De meeste mensen kennen Yelp als een website en app, om het restaurant te bekijken en menu -foto’s te zien. Ik gebruik een Yelp om foto’s van eten te vinden in nieuwe restaurants en om te zien of andere mensen vooral mijn gevoelens over merkgerechten delen. Het is ook een plek die me vertelt of een coffeeshop die ik van plan ben te gebruiken als reikwijdte voor de dag, met een zeldzaamheid, plug en zitplaats in de Manhattan.

Saladanha herinnerde zich dat Yelp in AI “voor een groot deel van een decennium” investeerde.

“Als ik in de tijdlijn 2013-2014 zou zeggen, zaten we in een heel andere generatie AI, dus waren we gericht op het creëren van ons eigen model om dingen te doen zoals het begrijpen van query. Een deel van het werk van het creëren van een zinvolle relatie is om mensen te helpen hun bedoelingen te verfijnen, ‘zei hij.

Maar terwijl de AI zich bleef ontwikkelen, vonden ook de vereisten van Yelp plaats. Het investeerde in AI om voedsel te identificeren op de door gebruikers gepresenteerde foto’s om de populaire keuken te identificeren, en toen begon het nieuwe manieren om lid te worden van traditionele en diensten en hielp de ontdekkingen van gebruikers op het podium.

Yelp Auxiliary Yellap helpt gebruikers de juiste “pro” te vinden om te werken. Mensen kunnen op de chatbox tikken en borden gebruiken of het werk door hen typen. Vervolgens vraagt ​​de ondersteunende volgende vragen om de potentieel serviceproviders die op de baan willen bieden voordat ze een bericht overbrengen aan die professionals.

Saladanah verklaarde dat professionals zelf worden aangemoedigd om op gebruikers te reageren, hoewel hij toegeeft dat grote merken vaak callcenters hebben die de berichten van de AI -assistent van de Yelp afhandelen.

Naast Yelp Assistant lanceerde Yelp beoordelingen inzichten en hoogtepunten. LLMS analyseert de gebruiker en recensent Spirit, die verzamelt in de Yelp Spirit -score. Gebruikt een gedetailleerde GPT-4O-prompt om datasets te genereren voor een lijst met schreeuwonderwerpen. Dan is het prima met het GPT-4O-Mini-model.

Bekijk de functie Hoogtepunten, die informatie van beoordelingen presenteert, gebruikt ook een LLM -prompt om een ​​gegevensset te genereren. Het is echter gebaseerd op GPT-4, met fijnafstemming van GPT-3.5 turbo. Yelp zei dat het de faciliteit zou bijwerken met GPT-4O en O1.

Yelp kwam bij veel andere bedrijven met behulp van LLMS om het nut van beoordelingen te verbeteren door betere zoektaken toe te voegen op basis van opmerkingen van klanten. Bijvoorbeeld, Amazon lanceerde dakdekkersEen AI-beheerde assistent die mensen helpt aanbevolen objecten te vinden.

Grote modellen en prestaties nodig

Voor veel van zijn nieuwe AI -functies, waaronder AI -assistenten, wendde Yelp zich tot GPT -4O en andere modellen van Openaii, maar Saladanah zei dat, ongeacht dat het model, Yelp’s gegevens een geheime chutney is voor zijn assistenten. De Yelp wilde zichzelf niet opsluiten in een model en had een open geest dat LLM zijn klanten de beste service zou bieden.

“We gebruiken de modellen van openi, antropische en andere modellen op de AWS -gesteente,” zei Saladana.

Saladanah meldde dat Yelp een rubriek creëerde om de prestaties van het model in zuiverheid, relevantie, bewustzijn, klantveiligheid en compliance te testen. Hij zei dat “dit echt het topmodel is” dat het beste presteerde. Het bedrijf runt een kleine piloot bij elk model voordat hij rekening houdt met herhalingskosten en responsvertraging.

Gebruiker lesgeven

Yelp begon ook een concrete inspanning om zowel casual als machtige gebruikers op te leiden om comfortabel te zijn met nieuwe AI -functies. Saldanha zei dat een van de eerste dingen die hij zich realiseerde, vooral met AI -assistent, is dat de toon menselijk moest voelen. Het kan niet heel snel of heel langzaam antwoorden; Het kan niet erg bemoedigend of te Bruce zijn.

“We hebben een groep inspanningen om mensen te helpen zich op hun gemak te voelen, vooral met die eerste reactie. Het kostte ons ongeveer vier maanden om dit tweede stuk goed te krijgen. En zodra we dat deden, was het heel duidelijk en je kon die hockeystick zien in de verloving, ‘zei Saladana.

Het deel van dat proces omvatte het gebruik van enkele woorden en het trainen van een Yelp -assistent tot positief geluid. Ten slotte zei Saladan na het bestellen dat ze eindelijk kijken naar de nummers met een hoge gebruik voor de AI -functies van de Yelp.