Kunstig intelligens

Tvivlsomme AI‑træningstaktikker – en voksende bekymring

David Hamilton
Føj Securities.io til dine foretrukne kilder på Google
Oplysning: Securities.io kan modtage betaling, når du bruger links til produkter, vi anmelder. Det påvirker ikke vores redaktionelle vurderinger. Vi er ikke registreret investeringsrådgiver; dette er ikke investeringsrådgivning. Læs vores affiliateoplysning.
AI Training Tactics
NøglepunkterAI-virksomheder som Meta og OpenAI står over for retssager for at bruge piratkopieret…
Vis mere
  • AI-virksomheder som Meta og OpenAI står over for retssager for at bruge piratkopieret bogdata fra skyggebiblioteker til at træne modeller.
  • DeepSeek byggede en rivaliserende AI for 6 millioner dollars ved at bruge ChatGPT's output, hvilket udløste beskyldninger om intellektuel tyveri.
  • Indholdsudviklere kræver kompensation, da AI-modeller indtager ophavsretligt beskyttede værker uden tilladelse eller betaling.

AI‑træningstaktikker fortsætter med at blive gransket på grund af deres manglende tilsyn. Det er almindeligt, at nutidige forfattere henter inspiration og endda låner elementer fra ældre fortællinger. Selvom denne praksis er en del af skrivningens udvikling, forekommer der tidspunkter, hvor en forfatters værker og stil kopieres uden samtykke.

Når denne situation opstår, giver moderne ophavsretslovgivning den oprindelige indholdsskaber mulighed for at få tabene refunderet. Det samme kan dog ikke siges om det stigende antal AI‑systemer, der er blevet fundet at have brugt ulovligt erhvervede værker til at udvikle deres modeller. Nu står branchen ved en korsvej med hensyn til træningstaktikker og hævn for dem, der har lidt tab. Her er, hvad du behøver at vide.

Tvivlsomme AI‑træningstaktikker

Et væld af søgsager hævder nu, at OpenAI og META (META ) bevidst søgte smuthuller, da de indkøbte biblioteksdata til deres modeltræning. Sagsøgerne påstår, at virksomheden var klar over og ikke bekymrede sig om, at de potentielt stjal millioner fra forfattere uden kompensation eller endda en omtale.

Påstande som denne er ikke en stor overraskelse for mange, der mener, at AI‑kapløbet har ført til en grundlæggende tilsidesættelse af ophavsretslove. Derfor fortsætter forfattere med at gøre modstand mod AI‑udviklere og kræver mere gennemsigtighed omkring, hvordan data indhentes og behandles af disse systemer.

Selvom ingen klare veje er blevet delt med offentligheden endnu, er beviserne begyndt at hobe sig op mod AI‑virksomhederne. Disse beviser kan føre til omfattende ændringer i de træningstaktikker, som AI‑udviklere bruger i fremtiden.

Træningstaktikker brugt af virksomheder til at skabe modeller

Træning af et AI‑system er en kompleks proces, der kan involvere indsamling og behandling af enorme datamængder fra forskellige kilder. Disse data er, hvad AI‑systemet refererer til, når det forsøger at besvare spørgsmål eller løse nye scenarier. Som følge heraf fungerer de fleste AI‑systemer bedre, når de har flere data at trække på.

Skabelse af AI

Den primære måde at skabe en AI‑model på involverer datindsamling. Tidligere var datindsamling en tidskrævende proces, der krævede, at ingeniører søgte allerede eksisterende databaser i stedet for at bygge fra bunden. For eksempel kan sundhedsudbydere udvikle en AI, der udnytter nationale sundhedsstatistikker for at give mere relevante medicinske svar.

Derfra beslutter udviklerne, hvilken algoritme de skal vælge. De vigtigste muligheder er superviseret læring, usuperviseret, semi‑superviseret, forstærket læring, lineær regression, dyb læring, random forest, naïve Bayes og neurale netværk. Hver af disse algoritmer har unikke fordele og ulemper, som gør dem bedre egnet til specifikke opgaver.

Til sidst begynder den iterative træningsproces. I dette trin bliver modellen udsat for spørgsmål og vurderet på den leverede nøjagtighed og ydeevne. Dette skridt giver ingeniører mulighed for at finjustere og validere modellen, hvilket øger dens kapaciteter. Trinnet hjælper også ingeniører med at sikre, at modellen fortsætter med at lære fra træningsdataene i stedet for blot at memorere dem.

Kilde - Uptech.team

Kilde – Uptech.team

Nuværende AI‑træningstaktikker er dyre

AI‑modeltræningsprocessen er tidskrævende og dyr og kan opdeles i to hovedkategorier: træning og kørsel. Træning refererer til den engangsudgift, der er forbundet med at skabe en bestemt model. For eksempel brugte ChatGPT omkring $100 millioner på sin 4o‑model, ifølge virksomhedens administrerende direktør, Sam Altman.

Bemærkelsesværdigt set er disse omkostninger langt større end tidligere modeludgifter. For eksempel koster træning af ChatGPT‑3 omkring $4 millioner. De stigende omkostninger ved at træne AI er et direkte resultat af større beregningskrav. De nyeste modeller kører på de nyeste NVIDIA (NVDA ) ‑chips, hvilket øger deres omkostninger.

Derudover har AI presset priserne på cloud‑computing opad. De fleste AI‑applikationer kører ikke naturligt på brugernes PC‑er. I stedet er de afhængige af topmoderne datacentre og cloud‑computing‑algoritmer for at understøtte de massive beregningskrav. Alle disse faktorer har gjort programmering af AI dyrt.

AI‑markedspladser

Et nyligt spring i antallet af AI‑træningsmarkedspladser indikerer, at der nu er flere udviklinger inden for området, som søger at spare på omkostningerne. AI‑markedspladser giver udviklere, indholdsskabere og dem, der søger AI‑integration, mulighed for at mødes. Udviklere kan finde allerede byggede modeller, som de kan forbedre eller finjustere efter deres behov, hvilket sparer både tid og penge i processen.

Driftsomkostninger

Drifts- eller inferenskostnaderne for AI‑systemer er en anden udgift, som udviklere skal tage i betragtning. Inferenskostnaden refererer til, hvor mange penge hver interaktion med AI’en koster. Omkostningerne ved at køre mange af dagens AI‑systemer er højere, fordi systemet skal tilgå alle data i sin model for at levere et præcist og hjælpsomt svar. Dette trin betyder, at AI’en skal bruge meget beregningskraft fra højtydende maskiner ofte. Dette krav tilføjer betydelige omkostninger til systemet.

Er nutidens AI‑træningstaktikker etiske?

Når man ser på de træningstaktikker og -strategier, som nutidens massive AI‑virksomheder anvender, er det let at se, at der findes etisk og moralsk udfordrende holdninger i branchen. Ja, for at skabe de bedste AI‑systemer, skal udviklere levere værdifulde og præcise data til modellen. Dog argumenterer nogle udviklere for, at omkostningerne ved at få ophavsretsgodkendelse på alle data i sættet ville være astronomiske og i praksis kvæle innovationen.

International ophavsretslov beskytter forfattere mod uautoriseret brug af deres værker, stil og fremtoning. AI‑systemer ser ud til at have fundet et juridisk smuthul, så de kan udnytte næsten nøjagtige kopier af personer, steder, information og historier med kun lidt juridisk modstand indtil videre.

Der er dog en voksende holdning blandt indholdsskabere om, at disse systemer ulovligt har erhvervet deres værker og derefter brugt dem til at træne AI‑modeller, som duplikerer formatet, tonen og stilen. Beviser for ulovlig brug af ophavsretligt beskyttede bøger i OpenAI’s træningsmodeller er blevet belyst gennem nylige afsløringer.

OpenAI‑retssag

I OpenAI‑retssag påstår sagsøgerne, at udviklere bevidst brugte skyggebiblioteker for at undgå at betale for store samlinger af bøger. Skyggebiblioteker er online‑platforme, der giver gratis adgang til ophavsretligt beskyttede værker. De, der er nævnt i OpenAI‑retssagen, inkluderer LibGen, Bok, Sci‑Hub og Bibliotik.

Retssagen har til formål at bevise, at OpenAI og META vidste, at de omgåede ophavsretslovgivningen. Den viser, hvordan virksomhederne brugte skyggebiblioteker og andre gratis kilder til markant at sænke deres træningsomkostninger, mens de fratog forfattere deres retmæssige betalinger.

Som svar på påstandene handlede META først, som om de ikke var klar over sådanne handlinger. Men efter at e‑mails dukkede op, som menes at afsløre virksomhedens fulde forståelse af deres handlinger, og som forklarer, at de torrentede +81,7 terabyte data fra skyggebiblioteker, svarende til millioner af værker.

META‑ufiltrerede e‑mails

Ironisk nok var det interne e‑mails, der afslørede, at virksomheden var fuldt ud klar over den tvivlsomme karakter af beslutningen om at bruge skyggebiblioteker. I de ufiltrede e‑mails stiller en bekymret ingeniør ved navn Nikolay Bashlykov moralspørgsmålet om projektet, før han fortsætter med at lave en joke om lovligheden af planen.

I senere e‑mails udtalte medarbejderen, at han var bekymret for at bruge META‑IP‑adresser til at hente torrent‑piratkopieret indhold. Da de indså, at dette kunne være et problem, instruerede META ingeniører i at downloade data fra eksterne servere, som ikke var forbundet til Facebook eller META.

Ordrer fra toppen

Da han oprindeligt blev spurgt om METAs involvering i torrentingen, udtalte Mark Zuckerberg, at han ikke havde nogen idé om processen. De ufiltrede e‑mails viste det modsatte. E‑mailene menes at vise, at beslutningen om at bruge ikke‑FB‑servere kun kom efter Zuckergbergs direkte godkendelse.

Bruger AI‑udviklere stjålet indhold?

Givet de fremlagte beviser og den pludselige stigning i AI‑kapaciteter, er det tilsyneladende indlysende, at mange AI‑systemer har vendt sig mod skyggebiblioteker og andre metoder for at bygge mere effektive træningsmodeller. Disse datasæt indeholder ophavsretligt beskyttede materialer, som aldrig har modtaget forfatterens eller udgiverens samtykke til brug i træning af AI‑modeller.

Er det ulovligt?

Selvom det bliver sværere at benægte brugen af piratkopieret materiale i dagens mest avancerede AI‑modeller, er lovligheden af praksissen stadig i tvivl. Ingen AI‑virksomhed har endnu været underlagt ophavsretslovgivning. Derudover er AI‑kapløbet i fuld gang, og mange politikere kan se begrænsning af deres lokale AI‑systems adgang til data som en hindring for innovation. Som sådan kan de måske ikke handle for at gøre bekæmpelse af AI‑ophavsretskrænkelser lige så let som traditionelt tyveri.

Retssager strømmer ind

Regulatorer er måske ikke klar til at lægge pres på AI‑virksomheder, men indholdsskabere har fået nok. Retssager fortsætter med at strømme ind fra desillusionerede forfattere, som hævder, at deres indhold er blevet ulovligt erhvervet, distribueret og duplikeret uden nogen kompensation.

For nylig indgav Joseph Saveri Law Firm amerikanske føderale klassesager direkte om dette emne. Retssagen, som blev indgivet på vegne af Sarah Silverman og andre forfattere mod OpenAI og META, søger erstatning for tab forårsaget af produktets evne til at duplikere formatet og stilen.

Det kollektive søgsmål hævder, at der er sket flere overtrædelser af Digital Millennium Copyright Act samt grov uagtsomhed og overtrædelser af reglerne om illoyal konkurrence. Sagsøgerne ønsker et permanent forbud mod disse træningsmetoder, indtil der er etableret en rimelig ordning for kompensation og beskyttelse af forfattere.

Er DeepSeek trænet af ChatGPT?

Ironisk nok har ChatGPT påstået, at det er offer for intellektuelt tyveri fra et AI‑system efter den kinesiske AI‑startup, DeepSeek sendte bølger gennem markedet. DeepSeek udløste en bølge af interesse, efter at virksomheden sidste måned afslørede sin imponerende ydeevne, lave omkostninger og avancerede kapaciteter for offentligheden.

OpenAI‑udviklere anklagede DeepSeek for at have brugt ChatGPT‑data til at programmere sin model, hvilket gjorde det muligt at skabe en model, der overgår konkurrencen og koster langt mindre. Sammenlignet opnåede DeepSeek en ydeevne på niveau med ChatGPT for en omkostning på $6 millioner versus +$100 millioner brugt af ChatGPT.

Derudover formår DeepSeek at bruge langt mindre beregningskraft takket være sin unikke opsætning. Inferenskostnaderne for DeepSeek er langt lavere end for ChatGPT på grund af brugen af flere specialiserede modeller i stedet for én enorm model.

Som sådan behøver DeepSeek kun at aktivere modellen i forhold til spørgsmålet, hvilket gør det muligt at bruge langt billigere og kraftigere NVIDIA‑chips. Specifikt bruger DeepSeek 1/50 af omkostningerne ved at køre den nyeste Claude 3.5 Sonnet‑model, hvilket gør den til en mere omkostningseffektiv løsning for virksomheder på længere sigt.

Den låner

Interessant nok benægter DeepSeek ikke brugen af ChatGPT til at udvikle “tænkende” scripts. Det beskriver endda processen i den originale DeepSeek‑whitepaper. Ingeniørerne mente, at denne tilgang ville give DeepSeek mere præcis information, hvilket fremskyndede dens destillationsproces.

Derudover sikrede det, at data brugt til at programmere konkurrenters AI‑modeller ikke blev brugt til at programmere DeepSeek. Resultatet er et mere effektivt system, der overgår sin forgænger og kun koster en brøkdel at drive. Naturligvis argumenterer mange for, at ChatGPT’s omkostninger bør indgå i DeepSeek’s budget, hvis de har udnyttet systemet til at skabe deres.

DeepSeek identitetskrise

I en nylig artikel gik en AI‑forsker til kilden for at se, om DeepSeek lånte meget fra ChatGPT. Han startede med at spørge LLM’en, om den mente, at DeepSeek var smartere end Gemini, Googles konkurrent. Ironisk nok svarede LLM’en, at den mente “det var ChatGPT.” Denne afsløring blev af mange set som alle de beviser, der var nødvendige for at bevise den enorme mængde data, som DeepSeek indsamlede fra ChatGPT.

Skal indholdsskabere kompenseres for AI‑brug?

Der er en voksende bekymring for indholdsskabere på markedet. Efterhånden som AI‑systemer udvikler sig, vil de uden tvivl indtage endnu flere ophavsretligt beskyttede materialer. Tidligere har ingeniører set virksomheder slukke for ophavsretsstyringsinformation for at mindske risikoen for, at deres handlinger bliver opdaget. Dog er tidevandet ved at vende.

I juli 2023 underskrev en gruppe på +8000 forfattere et brev, der blev sendt til META‑CEO Mark Zuckerberg, OpenAI‑CEO Sam Altman, Alphabet‑CEO Sundar Pichai, Stability AI‑CEO Emad Mostaque, IBM‑CEO Arvind Krishna og Microsoft (MSFT ) ‑CEO Satya Nadella. Brevet erklærer, at AI “efterligner og gengiver vores sprog, historier, stil og idéer.” Det kræver kompensation og anerkendelse.

Writers Guild of America og Screen Actors Guild har også gjort deres stemme hørt om brugen af deres værker inden for AI‑sektoren. De søger at garantere visse rettigheder og kompensation til forfattere, når deres værker bruges til at skabe AI‑modeller.

Træningstaktik‑muligheder dukker op

Ved at anerkende begrænsningerne i den nuværende opsætning og hvordan den mangler en reel legitim vej frem, gik BookCorpus i gang med at tilbyde en bedre løsning. Virksomheden blev grundlagt i 2015 med det specifikke mål at støtte AI‑forskere i træning af LLM’er. Som sådan indeholder den tusindvis af værker og modeller designet til at forbedre ydeevnen uden at krydse etiske grænser.

Allerede nu træder flere AI‑fokuserede tjenesteudbydere ind på markedet. Disse virksomheder kombinerer adgang til værdifulde data, modeller og mere. De er skræddersyet til at imødekomme AI‑beregningskrav og kommer ofte med en form for cloud‑computing‑mulighed som en måde at reducere udviklingsomkostninger yderligere.

Virksomheder der leder AI‑LLM‑revolutionen

Stigningen i LLM’er har gjort det lettere end nogensinde for alle at interagere med disse systemer. Fra en simpel chat‑prompt kan du udføre dybdegående research, skabe billeder og historier og meget mere. Som følge heraf betragtes LLM’er som et af de største gennembrud inden for computerinteraktionsteknologi i en levetid. Her er en virksomhed, der fortsat driver innovation på LLM‑markedet.

Alphabet Inc

Alphabet Inc. (GOOG ) er moderselskabet for Google og dets mange datterselskaber. Det er en af de mest genkendelige og succesfulde virksomheder i AI‑sektoren. Interessant nok vælger ingeniørerne at udnytte virksomhedens anden model, Google DeepMind, til at skabe Googles Gemini‑LLM. Gemini er en avanceret LLM, der oversætter, forstår indhold, besvarer spørgsmål og meget mere.

Bemærkelsesværdigt har Google DeepMind arbejdet hårdt på at skabe LLM’er og nye funktioner for virksomheden. For eksempel skaber den nye SELF‑DISCOVER‑funktion en opgavespecifik arkitektur inden for modellerne, hvilket reducerer den samlede tid, der er nødvendig for at besvare spørgsmål præcist.

GOOG Prisdiagram

Givet Googles dominans på markedet, direkte adgang til massive data og fortsatte udvidelse til formålsbyggede modeller, er GOOG en smart aktie at holde. Virksomheden er en af de bedst præsterende AI‑udbydere globalt og har netværket og finansieringen til at integrere sin teknologi og effektivt udvide den til offentligheden.

Hvordan vil træningstaktikker ændre sig i fremtiden

Du kan forvente, at AI‑træningstaktikker vil stole på mere raffinerede AI‑systemer for data, efterhånden som branchen udvides. DeepSeek demonstrerede, at deres tilgang markant sænkede omkostningerne. Derudover vil det blive sværere at påstå ophavsretskrænkelser, hvis virksomheden blot bruger data skabt af en anden AI i stedet for direkte.

Alle disse faktorer og den voksende efterspørgsel fra regeringer om at lede AI‑kapløbet har ført indholdsskabere til et meget farligt sted. Forhåbentlig vil AI‑udviklere i de kommende måneder skabe mere effektive træningstaktikker, der respekterer og kompenserer dem, hvis data de udnytter til succes.

Lær om andre spændende AI‑projekter nu.

David Hamilton er en fuldtidsjournalist og en længerevarende bitcoinist. Han specialiserer sig i at skrive artikler om blockchain. Hans artikler er blevet offentliggjort i flere bitcoin-publikationer, herunder Bitcoinlightning.com