Ordbok for store språkmodeller

Kunstig intelligens (AI) 

Kunstig intelligens er en gren av informatikk som fokuserer på å skape maskiner som kan etterligne menneskelig intelligens. Dette kan omfatte alt fra enkle oppgaver som å gjenkjenne mønstre, til mer komplekse oppgaver som å forstå naturlig språk eller ta beslutninger basert på kompleks informasjon. 

Store språkmodeller 

Store språkmodeller er AI-modeller som er trent til å forstå og generere menneskelig språk. Disse modellene lærer fra store mengder tekstdata, som bøker, artikler, og nettsteder, og bruker denne kunnskapen til å generere nye tekster som er grammatisk korrekte og meningsfulle. 

Maskinlæring 

Maskinlæring er en type AI som lærer fra store mengder data. Ved å analysere disse dataene, kan maskinlæringssystemer lære å utføre oppgaver uten å være eksplisitt programmert til å gjøre det. 

Dype nevrale nettverk 

Dype nevrale nettverk er en type maskinlæringssystem som er designet for å etterligne den måten menneskehjernen behandler informasjon på. Disse nettverkene består av mange lag med “nevroner” som kan lære å gjenkjenne komplekse mønstre i dataene de blir trent på. 

Transformer-arkitekturen 

Transformer-arkitekturen er en type nevralt nettverk som er spesielt effektivt for behandling av sekvensiell data, som tekst. Den bruker en mekanisme kalt “oppmerksomhet” for å veie betydningen av forskjellige ord i en setning når det gjelder å forutsi det neste ordet. 

Oppmerksomhetsmekanisme 

Oppmerksomhetsmekanismen er en del av transformer-arkitekturen som lar modellen fokusere på forskjellige deler av inngangsteksten når den genererer utgangsteksten. Dette gjør det mulig for modellen å ta hensyn til konteksten når den genererer tekst. 

Generativ Pre-training Transformer (GPT) 

GPT er en type stor språkmodell utviklet av OpenAI. Den bruker transformer-arkitekturen og er trent på store mengder tekstdata for å generere menneskelig-lignende tekst. 

Fine-Tuning 

Fine-tuning er en prosess der en forhåndstrent modell tilpasses en spesifikk oppgave. For eksempel kan en stor språkmodell som har blitt trent på internett-tekst, bli finjustert på medisinske tekster for å lage en modell som er spesialisert på medisinsk språk. 

Token 

I konteksten av språkmodeller, er et token en enhet av tekst som modellen leser av gangen. Dette kan være så lite som ett tegn, eller så stort som ett ord eller mer. 

Embedding 

En embedding er en vektorrepresentasjon av et token i et høydimensjonalt rom. Embeddings brukes til å representere ord i en form som maskinlæringsmodeller kan arbeide med. 

Sekvensiell oppgave 

En sekvensiell oppgave er en type oppgave der rekkefølgen av elementene er viktig. For eksempel er tekstgenerering en sekvensiell oppgave fordi rekkefølgen av ordene i en setning er viktig. 

Oppmerksomhetsvekt 

Oppmerksomhetsvekter er del av transformer-arkitekturen som bestemmer hvor mye oppmerksomhet modellen skal gi til hvert ord når den genererer det neste ordet. 

Aktiveringsfunksjon 

En aktiveringsfunksjon er en funksjon i et nevralt nettverk som bestemmer om og i hvilken grad et neuron skal aktiveres, basert på inngangsdataene.

Backpropagation 

Backpropagation er en metode for å trene nevrale nettverk ved å justere vektene i nettverket basert på feilen mellom nettverkets utgang og den ønskede utgangen. 

Overfitting 

Overfitting er et problem i maskinlæring der en modell blir for godt tilpasset treningsdataene, og dermed presterer dårlig på nye, ukjente data. 

Regularisering 

Regularisering er en teknikk i maskinlæring som brukes til å forhindre overfitting ved å legge til en straff på kompleksiteten til modellen. 

Gradient Descent 

Gradient descent er en optimaliseringsalgoritme som brukes til å minimere feilen i et nevralt nettverk ved å justere vektene i retning av den negative gradienten av feilfunksjonen.