Sluit u aan bij onze dagelijkse en wekelijkse nieuwsbrieven voor de laatste updates en exclusieve inhoud over toonaangevende AI-dekking. Meer informatie
Het Allen Instituut voor AI (Ai2) beweert de kloof tussen closed-source en open-source post-training te hebben verkleind met de release van zijn nieuwe modeltrainingsfamilie, Tülu 3, waarmee het argument wordt aangevoerd dat open-sourcemodellen zullen gedijen in de bedrijfsruimte.
Tülu 3 brengt open-sourcemodellen op één lijn met de GPT-modellen van OpenAI, Claude van Anthropic en Google’s Gemini. Het stelt onderzoekers, ontwikkelaars en ondernemingen in staat open-sourcemodellen te verfijnen zonder de gegevens en kernvaardigheden van het model te verliezen en deze dicht bij de kwaliteit van gesloten-sourcemodellen te brengen.
Ai2 zei dat het Tülu 3 heeft uitgebracht met alle gegevens, datamixen, recepten, code, infrastructuur en evaluatiekaders. Het bedrijf moest nieuwe datasets en trainingsmethoden creëren om de prestaties van Tülu te verbeteren, waaronder “rechtstreeks trainen op verifieerbare problemen met versterkend leren.”
“Onze beste modellen zijn het resultaat van een complex trainingsproces dat gedeeltelijke details van propriëtaire methoden integreert met nieuwe technieken en gevestigd academisch onderzoek”, zei Ai2 in een blogpost. “Ons succes is geworteld in zorgvuldige datacuratie, rigoureuze experimenten, innovatieve methodologieën en verbeterde trainingsinfrastructuur.”
Tülu 3 zal verkrijgbaar zijn in verschillende maten.
Open source voor bedrijven
Open-sourcemodellen bleven vaak achter bij closed-source-modellen wat betreft adoptie door bedrijven, hoewel meer bedrijven anekdotisch meldden dat ze meer open-source grote taalmodellen (LLM’s) voor projecten kozen.
De stelling van Ai2 is dat het verbeteren van de afstemming met open-sourcemodellen zoals Tülu 3 het aantal bedrijven en onderzoekers zal doen toenemen dat voor open-sourcemodellen kiest, omdat ze erop kunnen vertrouwen dat deze net zo goed kunnen presteren als een Claude of Gemini.
Het bedrijf wijst erop dat de andere modellen van Tülu 3 en Ai2 volledig open source zijn, en merkt op dat trainers van grote modellen zoals Anthropic en Meta, die beweren open source te zijn, “geen van hun trainingsgegevens of trainingsrecepten transparant hebben voor gebruikers.” Het Open Source Initiative heeft onlangs de eerste versie ervan gepubliceerd open-source AI-definitiemaar sommige organisaties en modelaanbieders volgen de definitie in hun licenties niet volledig.
Bedrijven vinden de transparantie van modellen belangrijk, maar velen kiezen niet zozeer voor open source-modellen vanwege onderzoek of openheid van gegevens, maar omdat deze het beste passen bij hun gebruiksscenario’s.
Tülu 3 biedt bedrijven meer keuze bij het zoeken naar open-sourcemodellen om in hun stack te brengen en te verfijnen met hun gegevens.
De andere modellen van Ai2, OLMoE en Molmo, zijn ook open source, wat volgens het bedrijf beter begint te presteren dan andere toonaangevende modellen zoals GPT-4o en Claude.
Andere Tülu 3-functies
Ai2 zei dat Tülu 3 bedrijven in staat stelt hun gegevens te mixen en matchen tijdens het afstemmen.
“De recepten helpen je de datasets in evenwicht te brengen, dus als je een model wilt bouwen dat kan coderen, maar ook de instructies nauwkeurig kan volgen en in meerdere talen kan spreken, selecteer je gewoon de specifieke datasets en volg je de stappen in het recept”, aldus Ai2.
Het mixen en matchen van datasets kan het voor ontwikkelaars gemakkelijker maken om van een kleiner model naar een groter gewogen model over te stappen en de instellingen voor na de training te behouden. Het bedrijf zei dat de infrastructuurcode die het samen met Tülu 3 heeft uitgebracht, bedrijven in staat stelt die pijplijn uit te bouwen bij het doorlopen van modelgroottes.
Het evaluatieraamwerk van Ai2 biedt ontwikkelaars een manier om instellingen te specificeren voor wat ze uit het model willen zien.
Source link
