Chain-of-Xparts (COE): een goedkoop LLM-framework dat de efficiëntie en nauwkeurigheid verbetert

Enterprises vertrouwen op het Larg Language Model (LLM) om snel geavanceerde diensten te distribueren, maar worstelen om de rekenkosten van het lopende model af te handelen. Een nieuwe structuur, Ketting-off-access (COE), om LLM’s meer resource-efficiënter te maken door hun nauwkeurigheid op logische functies te vergroten.

Het COE -framework activeert de grenzen van de eerste benadering door “experts” te activeren – verschillende elementen van een model, specialisatie in elke functies – in plaats van geleidelijk parallel. Met deze structuur kunnen experts tussenliggende resultaten communiceren en geleidelijk op elkaars werk construeren.

Architectuur-intensieve applicaties zoals COE kunnen zeer nuttig zijn, waarbij de winst in efficiëntie kan leiden tot zware kostenbesparingen en betere gebruikerservaring.

Dichte LLM en mengen

De klassieke LLM, ook wel een dicht model genoemd, activeert elke parameter terwijl ze samen worden geactiveerd, wat leidt tot uitgebreide computationele eisen als een model. Mix-Off-Experts (MOE), een architectuur zoals DeepSEK-V3 en (beschouwd) die wordt gebruikt in modellen zoals GPT-4O, gaat deze uitdaging aan door het model te delen in een reeks experts.

Tijdens de schatting gebruiken MOE -modellen een router die voor elke invoer een sate van experts selecteert. MOE’s vermindert computationele overheadkosten om LLMS te laten werken in vergelijking met dichte modellen. De DIPSEC-V3 is bijvoorbeeld een model van 671 miljard parameters met 257 experts, waarvan negen worden gebruikt voor alle invoertokens, die vergezeld gaan van 37 miljard actieve parameters tijdens schattingen.

Maar Moes heeft beperkingen. Er zijn in de eerste plaats twee belangrijke nadelen dat elke specialist onafhankelijk van anderen werkt, vermindert de prestaties van modellen op functies die relevant bewustzijn en coördinatie vereisen. En ten tweede veroorzaakt de MOE -architectuur een hoge zeldzaamheid, wat resulteert in een model met hoge geheugenvereisten, zelfs als er op elk moment een kleine wordt gebruikt.

Ketting-off-access

Het kader van de raamketen behandelt de grenzen van MOE door geleidelijk actief in plaats van parallel. Met deze structuur kunnen experts tussenliggende resultaten communiceren en geleidelijk op elkaars werk construeren.

De COE gebruikt een herhaald proces. De invoer wordt eerst geworteld op een reeks experts, die deze verwerken en hun antwoorden doorgeven voor een andere set experts. De tweede groep experts verwerkt tussenliggende resultaten en kan deze doorgeven op de volgende set experts. Deze sequentiële benadering biedt referentie-inconceerbare invoer, die het vermogen van het model aanzienlijk verbetert om complexe logische functies te verwerken.

In wiskundige argument of logische schattingen kan COE bijvoorbeeld elke specialist produceren in eerdere inzichten, waardoor de nauwkeurigheid en het functioneren worden verbeterd. Deze methode optimaliseert het gebruik van hulpbronnen door de normale componenten in de inzet van parallel niveau te verminderen en aan de eisen van ondernemingen te voldoen aan kostengeschoolde en krachtige AI-oplossingen.

Grote voordelen van COE

Chain-of-Expert-benadering met behulp van sequentiële activering en deskundige samenwerking, resulteert in vele belangrijke voordelen, zoals recent beschreven Analyse Van een groep onderzoekers die de COE -structuur testen.

In COE wordt gespecialiseerde selectie op een herrazing van de manier gedaan. In elk herhaling worden experts bepaald door de output van de vorige fase. Hierdoor kunnen afzonderlijke experts communiceren en onderlinge afhankelijkheid creëren om meer dynamische routeringsmechanismen te creëren.

“Op deze manier kan het model de prestatieprestaties aanzienlijk verbeteren met behoud van een computationele efficiëntie, vooral in complexe scenario’s (bijv. Wiskunde in experimenten),” schrijven onderzoekers.

De experimenten van onderzoekers tonen aan dat COE met vergelijkbare berekeningen en geheugenbudget beter presteerde dan Dense LLM en MOE. In wiskundige benchmarks bijvoorbeeld, één COE met 64 experts, vier root -experts en twee schattingen herhalingen (COE -2 (4/64)) maken een MOE beter met 64 experts en acht geroote experts (8/64).

Onderzoekers ontdekten ook dat COE de geheugenvereisten vermindert. Eén COE met 48 gewortelde experts en twee van twee recidieven (COE-2 (4/48)) ontvangt bijvoorbeeld dezelfde prestaties als MOE (8/64) met behulp van lage totale experts, waardoor geheugenvereisten met 17,6%worden verminderd.

De COE maakt ook een efficiënter model voor architectuur mogelijk. Een COE-2 (8/64) met vier lagen van het zenuwnetwerk komt bijvoorbeeld overeen met de prestaties van MOE (8/64) met acht lagen, maar gebruikt 42% minder geheugen.

“Misschien is het belangrijkste dat KOE het gevoel heeft dat we een ‘gratis lunch’ -versnelling noemen,” schrijven onderzoekers. “Door te reorganiseren hoe informatie door het model stroomt, krijgen we betere resultaten met vergelijkbare computationele overhead in vergelijking met eerdere MOE -methoden.”

Een goed voorbeeld: een COE -2 (4/64) biedt 823 meer deskundige combinaties in vergelijking met MOE (8/64), stelt het model in staat om het model of zijn geheugen en de berekeningsvereisten te leren kennen om meer complexe taken te leren kennen.

COE’s lage operationele kosten en betere prestaties op complexe functies kunnen geavanceerde AI toegankelijker maken voor ondernemingen, waardoor ze concurrerend blijven zonder voldoende infrastructuurinvesteringen.

“Dit onderzoek opent efficiënt nieuwe paden om het taalmodel te scoren, waardoor geavanceerde kunstmatige intelligentievaardigheden toegankelijker en duurzamer worden”, schrijven onderzoekers.