De risico’s van Ai-Janit-code zijn echt waar het wordt gemeld hoe Enterprise het risico kan beheren

Het is niet zo lang geleden, mensen schreven bijna alle toepassingscodes. Maar nu is het niet zo: het gebruik van AI -tools om code te schrijven is dramatisch uitgebreid. Sommige experts, zoals antropische CEO Dario Amodi, hopen dat AI binnen de komende 6 maanden 90% van alle codes zal schrijven.

Wat is het effect voor ondernemingen tegen die achtergrond? Code -ontwikkelingspraktijken omvatten traditioneel controle, inspectie en verschillende bestuursniveaus om kwaliteit, naleving en veiligheid te waarborgen. Hebben organisaties met een AI-ontwikkelde code dezelfde zekerheid? Wat nog belangrijker is, misschien moeten organisaties weten welke modellen hun AI -code hebben gegenereerd.

Inzicht in waar de code vandaan komt, is geen nieuwe uitdaging voor ondernemingen. Dit is de plaats waar bronnencode -analyse (SCA) in de apparatuur past. Historisch gezien biedt SCA -apparatuur geen inzicht in AI, maar het verandert nu. Veel leveranciers, waaronder Sonar,, Ander Labs En Tintype Er zijn nu verschillende soorten inzichtaanbiedingen die ondernemingen kunnen helpen met AI-ontwikkelde codes.

Sonar CEO Tariq Shukat zei tegen VentureBeat: “Nu met welke klant we praten, is geïnteresseerd in hoe ze AI -codegenerator moeten gebruiken.”

Financieel bedrijf lijdt aan een storing per week vanwege de AI-ontwikkelde code.

AI -apparaten zijn niet onfeilbaar. Veel organisaties leerden dat de les snel wordt gedaan wanneer materiaalontwikkelingsapparatuur bekend staat als hallucinaties.

Dezelfde originele tekst is van toepassing op AI-ontwikkelde code. Naarmate organisaties vanuit de experimentele modus in productiemodus gaan, voelen ze zich snel aan dat de code een zeer kleine auto is. Shaukat zei dat de door AI ontwikkelde code ook kan leiden tot kwesties van veiligheid en geloofwaardigheid. Het effect is echt en het is niet eens triviaal.

“Ik had bijvoorbeeld ongeveer zes maanden geleden een CTO, vertel me over een financiële dienstverlener dat hij in een week een storing ervoer vanwege de door AI geproduceerde code,” zei Shaukat.

Toen hij zijn klant vroeg of hij de code aan het beoordelen was, was het antwoord ja. Hij zei, de ontwikkelaars voelden zich nergens als verantwoordelijk aan de code en brachten er niet zoveel tijd en streng aan, zoals ze eerder waren.

De oorzaakcode eindigt, kleine buggy, vooral voor grote ondernemingen, kan variabel zijn. Een speciale algemene kwestie is echter dat ondernemingen vaak een grote codes bevatten die een complexe architectuur kan hebben die mogelijk niet op de hoogte is van de AI -tool. In het beeld van Shaukat gaan de AI -codegenerators meestal goed samen met de complexiteit van grote en meer geavanceerde codebasis.

“Onze grootste klant analyseert meer dan 2 miljard code -regels,” zei Shaukat. “Je begint met die codebases te werken, en ze zijn veel complexer, ze hebben veel technische schulden en hebben veel meer afhankelijkheden.”

AI ontwikkelde code -uitdagingen

Voor Mitchell Johnson, de belangrijkste productontwikkelingsfunctionaris in Sontype, is het ook duidelijk dat de AI-ontwikkelde code hier moet wonen.

Softwareontwikkelaars moeten volgen wat hij zegt tegen de engineering Hippocratic Eed. Dat wil zeggen, er is geen schade aan de codebase. Dit betekent dat elke regel van de AI-gerelateerde code strikt onderzoek, begrijpen en valideren-zoals ontwikkelaars handmatig zullen schrijven of met open-source code.

“AI is een krachtig hulpmiddel, maar het vervangt geen menselijke beslissingen bij het praten over veiligheid, governance en kwaliteit,” legde Johnson VentureBeat uit.

Volgens Johnson is het grootste risico op AI-gerelateerde code:

• Veiligheidsrisico: AI is grotendeels getraind op open-source dataset, die vaak zwakke of kwaadaardige code met zich meebrengt. Indien ongecontroleerd, kan het veiligheidsfouten in de software -supply chain introduceren.
• Blind Trust: Ontwikkelaars, met name lage ervaren, kunnen aannemen dat de AI-gerelateerde code correct en veilig is zonder de juiste verificatie, waardoor ongecontroleerde zwakke punten worden veroorzaakt.
• Naleving en referentiekloven: AI heeft een gebrek aan bewustzijn over commerciële logica, beveiligingsbeleid en wettelijke vereisten, waardoor de afweging van naleving en prestaties wordt afgestemd.
• Governance -uitdagingen: De Ai-Janit-code kan zonder toezicht worden verspreid. Organisaties vereisen automatische reling om de AI-gemaakte code op een schaal te volgen, te controleren en te beveiligen.

Johnson zei: “Ondanks deze risico’s hoeven snelheid en beveiliging de handel niet te stoppen.”

Modelstof: het identificeren van open source modelrisico voor codeontwikkeling

Verschillende soorten modelorganisaties worden gebruikt om code te genereren. Anthopic Cloud 3.7 is bijvoorbeeld een bijzonder krachtige optie. Google Code Assist, OpenAI’s O3- en GPT-4O-modellen zijn ook haalbare opties.

Dan is er een open source. Verkopers zoals Meta en Qodo bieden open-source modellen en lijken een eindeloze reeks opties beschikbaar te hebben op de Huggingface. Endoor Labs Siso, Carl Matton waarschuwde dat deze modellen worden geconfronteerd met beveiligingsuitdagingen, waarvoor veel ondernemingen niet klaar zijn.

“Het systematische risico is het gebruik van open source LLM,” legde Matton de VentureBeat uit. “Ontwikkelaars die open-source modellen gebruiken, creëren een nieuw pak problemen. Ze worden geïntroduceerd in hun codebasis met behulp van niet -gevallen of ongelijke, onbewezen modellen. ,,

In tegenstelling tot commerciële aanbiedingen van bedrijven zoals antropisch of openii, die Matson heeft beschreven als “veiligheids- en bestuursprogramma’s van hoge kwaliteit”, zoals een keelgezicht zoals repository uit repository, kunnen dramatisch variëren van open-sources modellen kwaliteit en beveiligingsvaluta. Matton benadrukte dat in plaats van te proberen het gebruik van het open-source-model voor de code-generatie te verbieden, organisaties potentiële risico’s moeten begrijpen en goed moeten kiezen.

Endor Labs kan helpen om outfits te verkennen wanneer de AI-modellen met open-sources, vooral van de Embrace Face, worden gebruikt in de code-repository. De technologie van het bedrijf evalueert deze modellen in 10 risico -kenmerken, waaronder 10 kenmerken van risico, operationele veiligheid, eigendom, gebruik en bijgewerkte frequentie.

Specifieke detectietechnologieën ontstaan

Om opkomende uitdagingen aan te gaan, hebben SCA -leveranciers veel verschillende vaardigheden uitgegeven.

Sonar heeft bijvoorbeeld een AI -code -assurance -mogelijkheden ontwikkeld die unieke codepatronen voor machinegeraties kan identificeren. Het systeem kan erachter komen dat de mogelijkheid van de code is gegenereerd, zelfs directe integratie met coderende assistenten. Sonar past vervolgens speciaal onderzoek toe op klassen die op zoek zijn naar hallucinatiesafhankelijkheid en architecturale kwesties die niet zullen verschijnen in de door mensen geschreven code.

Endor Labs en SonTypes nemen een afzonderlijke technische aanpak, die zich richt op model Siddhata. Sonatype -platforms kunnen worden gebruikt om het AI -model te identificeren, bij te houden en te controleren met hun softwarecomponenten. Endoor Labs kunnen ook identificeren wanneer het open-source AI-model wordt gebruikt in de coderepository en het mogelijke risico wordt beoordeeld.

Bij het implementeren van door AI gegenereerde code in de enterprise-omgeving, vereisen organisaties een gestructureerde aanpak om risico’s te verminderen door de voordelen te maximaliseren.

Er zijn veel belangrijke best practices die ondernemingen zouden moeten overwegen, waaronder:

• Pas rigoureuze verificatieprocedures toe: Shaukat advies dat organisaties hebben Het is een rigide proces rond het begrijpen waar de codegenerator wordt gebruikt in het specifieke deel van de codebasis. Het is noodzakelijk om het juiste niveau van verantwoording te garanderen en de gegenereerde codes te controleren.
• Identificeer AI -limieten met complexe codebase: Hoewel de AI-gerelateerde code het eenvoudige script gemakkelijk kan verwerken, kan deze soms tot op zekere hoogte worden beperkt als het op complexe codes op de basis komt die veel afhankelijkheid hebben.
• Begrijp unieke problemen in Ai-Janit-code: Shaukat zei dat W.Hile AI vermijdt normale syntaxisfouten, het veroorzaakt ernstiger architecturale problemen door hallucinaties. Code hallucinaties kunnen het maken van een variabele naam of een bibliotheek omvatten die niet echt bestaat.
• Ontwikkelaar vereist verantwoording: Johnson benadrukt dat de AI-gerelateerde code niet van nature veilig is. Ontwikkelaars moeten elke regel beoordelen, begrijpen en valideren voordat u dit doet.
• Organiseer AI -goedkeuring: Johnson heeft ook gewaarschuwd voor het risico van Chhaya AI, of ongecontroleerd gebruik van AI -apparaten. Veel organisaties verbieden AI een forfaitair bedrag (die werknemers negeren) of goedkeuringsprocedures maken, zodat werknemers ze kunnen omzeilen. In plaats daarvan suggereert hij dat het bedrijf een duidelijke, efficiënte structuur creëert om de AI -tools te evalueren en te greenlicht, die ervoor zorgen dat hij veilig veilig aanneemt zonder onnodige obstakels.

Wat betekent dit voor ondernemingen

Het risico op de ontwikkeling van schaduw AI -code is reëel.

Het bedrag van de code die de organisatie kan produceren met AI -hulp, neemt dramatisch toe en kan binnenkort de meeste van alle codes omvatten.

TTers zijn bijzonder hoog voor complexe bedrijfstoepassingen waar een enkele hallucinaties beangstigende fouten kunnen veroorzaken. Voor organisaties die AI -coderingstools willen gebruiken met behoud van betrouwbaarheid, is het implementeren van speciale code -analyses -apparaten snel van optioneel.

“Als u een door AI gedragen code in productie toestaat zonder speciale identiteit en verificatie, vliegt u in wezen blind,” waarschuwde Matson. “De soorten mislukkingen waar we naar op zoek zijn, zijn niet alleen bars – het zijn architecturale storingen die het hele systeem kunnen verlagen.”