Falcon 3 van de VAE daagt open-sourceleiders uit te midden van de stijgende vraag naar kleine AI-modellen
Sluit u aan bij onze dagelijkse en wekelijkse nieuwsbrieven voor de laatste updates en exclusieve inhoud over toonaangevende AI-dekking. Meer informatie
De regering van de VAE steunde Instituut voor technologie-innovatie (TII) heeft de lancering aangekondigd van Falcon 3, een familie van open-source kleine taalmodellen (SLM’s) die zijn ontworpen om efficiënt te werken op lichtgewicht, op één GPU gebaseerde infrastructuren.
Falcon 3 beschikt over vier modelgroottes – 1B, 3B, 7B en 10B – met basis- en instructievarianten, en belooft de toegang tot geavanceerde AI-mogelijkheden voor ontwikkelaars, onderzoekers en bedrijven te democratiseren. Volgens het Hugging Face-leaderboard presteren de modellen al beter dan of komen ze nauw overeen met populaire open-source-tegenhangers in hun grootteklasse, waaronder Meta’s Llama en categorieleider Qwen-2.5.
De ontwikkeling komt op een moment dat de vraag naar SLM’s, met minder parameters en eenvoudiger ontwerpen dan LLM’s, snel groeit vanwege hun efficiëntie, betaalbaarheid en mogelijkheid om te worden ingezet op apparaten met beperkte middelen. Ze zijn geschikt voor een reeks toepassingen in verschillende sectoren, zoals klantenservice, gezondheidszorg, mobiele apps en IoT, waar typische LLM’s te rekenkundig duur zijn om effectief te kunnen werken. Volgens Waardeert rapportenVerwacht wordt dat de markt voor deze modellen zal groeien, met een CAGR van bijna 18% in de komende vijf jaar.
Wat brengt Falcon 3 naar de tafel?
De Falcon 3-familie is getraind op 14 biljoen tokens – meer dan het dubbele van zijn voorganger Falcon 2 – en maakt gebruik van een architectuur die uitsluitend op decoders gebaseerd is, met gegroepeerde query-aandacht om parameters te delen en het geheugengebruik voor sleutelwaarde-cache (KV) tijdens inferentie te minimaliseren. Dit maakt snellere en efficiëntere bewerkingen mogelijk bij het verwerken van diverse op tekst gebaseerde taken.
In de kern ondersteunen de modellen vier primaire talen – Engels, Frans, Spaans en Portugees – en zijn ze uitgerust met een contextvenster van 32K, waardoor ze lange invoer kunnen verwerken, zoals zwaar geformuleerde documenten.
“Falcon 3 is veelzijdig, ontworpen voor zowel algemene als gespecialiseerde taken en biedt gebruikers een enorme flexibiliteit. Het basismodel is perfect voor generatieve toepassingen, terwijl de instruct-variant uitblinkt in conversatietaken zoals klantenservice of virtuele assistenten”, merkt TII op. website.
Volgens de klassement op Hugging Face presteren alle vier de Falcon 3-modellen redelijk goed, maar de 10B- en 7B-versies zijn de sterren van de show en behalen state-of-the-art resultaten op het gebied van redeneren, taalbegrip, het volgen van instructies, code en wiskundetaken.
Van de modellen onder de 13B-parametergrootteklasse presteren de 10B- en 7B-versies van Falcon 3 beter dan de concurrenten, waaronder Google’s Gemma 2-9B, Meta’s Llama 3.1-8B, Mistral-7B en Yi 1.5-9B. Ze overtreffen zelfs Alibaba’s categorieleider Qwen 2,5-7B in de meeste benchmarks – zoals MUSR, MATH, GPQA en IFEval – behalve in MMLU, de test om te evalueren hoe goed taalmodellen menselijke taal begrijpen en verwerken.
Implementatie in verschillende sectoren
Nu de Falcon 3-modellen beschikbaar zijn Knuffelend gezichtTII streeft ernaar een breed scala aan gebruikers te bedienen, waardoor kosteneffectieve AI-implementaties mogelijk worden gemaakt zonder knelpunten in de rekenkracht. Met hun vermogen om specifieke, domeingerichte taken met snelle verwerkingstijden af te handelen, kunnen de modellen verschillende applicaties aan de edge en in privacygevoelige omgevingen aandrijven, waaronder chatbots voor klantenservice, gepersonaliseerde aanbevelingssystemen, data-analyse, fraudedetectie, diagnostiek in de gezondheidszorg, supply chain-optimalisatie en -educatie.
Het instituut is ook van plan de Falcon-familie verder uit te breiden door modellen met multimodale mogelijkheden te introduceren. Deze modellen zullen naar verwachting ergens in januari 2025 op de markt komen.
Met name zijn alle modellen uitgebracht onder de TII Falcon License 2.0, een tolerante op Apache 2.0 gebaseerde licentie met een acceptabel gebruiksbeleid dat verantwoorde AI-ontwikkeling en -implementatie aanmoedigt. Om gebruikers op weg te helpen heeft TII ook een Falcon Playground gelanceerd, een testomgeving waar onderzoekers en ontwikkelaars Falcon 3-modellen kunnen uitproberen voordat ze deze in hun applicaties integreren.
Source link
