Et år senere med LLMs: Predictions and Reflections

På det seneste har vi delt nogle af vores 2024-forudsigelser for oversættelsesindustrien. En af vores forudsigelser er, at AI-drevet teknologi vil blive endnu mere attraktiv for virksomheder og i bund og grund bliver et krav for at have en konkurrencefordel i branchen. 2023 var et år, der viste både de ekstraordinære muligheder i Generativ AI, specifikt store sprogmodeller, men det afslørede også mange mangler og behovet for nøje planlagte udviklings- og implementeringsbeslutninger.

I 2024 vil vi sandsynligvis se indvirkningen på oversættelsesindustrien vokse eksponentielt og berøre alle stadier af lokaliseringsrejsen. Mens fokus til dette punkt har været på teksttransformation og generering, kan udviklingen af multimodale modeller også begynde at påvirke områder som multimedielokalisering, voice over og billedoversættelse.

LLM-forudsigelser for 2024

Smartlings vicedirektør for maskinoversættelse og kunstig intelligens, Olga Beregovaya, delte nogle af sine forudsigelser for oversættelsesindustrien i 2024:

• Bedre understøttelse af long-tail-sprog: Vi har allerede set, at LLM'er kan skabe træningsdata for under-ressourcemæssige sprog ved hjælp af mønstre fra tilstødende sprog, hvilket gør automatiseret oversættelse tilgængelig og af højere kvalitet for et større antal lokaliteter. Fordi LLM'er kan tilpasse sig hurtigt til lokale og geospecifikke sprogvarianter, vil oversættelse desuden være i stand til at henvende sig til mere forskelligartede målgrupper, såsom etniske og sociale grupper.
• Nye muligheder for tilgængelighed: AI vil gøre det muligt for virksomheder at tilpasse deres produkter og tjenester til publikum med alle baggrunde og evner. For eksempel kan en multimodal Large Language Model fortælle skriftlig tekst for synshandicappede og transskribere for hørehæmmede. AI vil åbne karrieremuligheder for dem med indlæringsvanskeligheder ved at fungere som forskellige slags co-piloter og læringsassistenter.
• Større reguleringer og restriktioner: 2023 viste, at mangel på regulering og lovgivningsmæssige foranstaltninger omkring Generativ AI kan medføre skadelige konsekvenser. Misbrug af Generativ AI i sprogrummet kan være et af de farligste områder, da det kan vige for ting som faktuel unøjagtighed eller en potentielt skadelig beslutning, såsom den berygtede sag om lånebeslutninger, der diskriminerer mod visse etniske og sociale grupper. Vi forventer at se flere internationale reguleringsorganer og autoværn omkring udvikling og brug af AI-modeller i år.
• Mindre og smartere modeller: Vi er begyndt at se meget stærk ydeevne fra mindre modeller, trænet på mindre datasæt til specifikke opgaver (såsom Llama2 til specifikke sprog og oversættelsesopgaver). Vi forudser, at mange flere sådanne mindre modeller vil være tilgængelige i det kommende år, uddannet af teknologiudbydere eller LSP'er til specifikke sprog og domæner.
• En fortsat rolle for NMT: Selv med hypen omkring LLM'er, vil traditionel neural maskinoversættelse fortsætte med at spille en rolle i lokaliseringsrummet. Især har vi set fortsat brug i tilpasning til specifikke domæner. Finjustering af LLM'er er stadig en kompleks og dyr opgave med en masse ubekendte og trial-end-error, hvorimod træning af NMT er en veletableret og succesfuldt udførende tilgang, der også er yderst omkostningseffektiv. Til sidst vil vi se konvergensen mellem de to tilgange, og det kan muligvis ske i 2024.

Brug af LLM'er på tværs af Smartling

Vi nød Olgas forudsigelser så meget, at vi besluttede at bede nogle flere af vores kolleger om at reflektere over, hvordan LLM'er har påvirket deres roller, oversættelsesbranchen som helhed og deres forventninger til det kommende år.

Lad os se, hvad de havde at sige:

Benjamin Loy, chefingeniør

LLM'er genererede et nyt vendepunkt for automatisering for hele oversættelsesindustrien. Grundlæggende problemer med at automatisere sprogtransformationer er endelig inden for rækkevidde af at blive delvist eller fuldt løst via disse nye teknologier.

Alex Yanishevsky, direktør for AI-udvikling

LLM'er har dybt ændret min rolle, men endnu vigtigere, de har dramatisk ændret hele vores branche. Når jeg kigger ind i næste år, er mit mål: hvordan rådgiver jeg bedst klienten, altså om det utal af muligheder, vi kan bruge LLM'er til, hvilke der giver den højeste værdi og flytter skiven længst for de omkostninger, der afholdes.

Chris Wyant, Assoc. Direktør for Sprogservice

LLM'er gør automatiseret oversættelse smartere, hurtigere og mere effektiv end nogensinde før. Disse teknologiske spring gør det muligt for vores oversættere at arbejde mere effektivt end nogensinde før. Sprogforskere kan opkvalificere og udvide deres karriere ved at omfavne disse værktøjer. Vores data viser, at produktiviteten er steget, og at sproglig indkomst ikke har taget det hit, mange havde frygtet, den ville.

Grace Feeney, salgsudviklingschef

LLM'er har revolutioneret den måde, mit team nærmer sig e-mailoprettelsen på. Ved at samle data fra forskellige kilder om kundeemnet og virksomhedens mål, giver LLM'er mit team mulighed for at fungere som redaktører i stedet for at lave indhold fra bunden.

Nicole Michel, produktchef - maskinoversættelse

Efter den indledende hype blev det klart, at LLM'er er virkelig gode til specifikke opgaver og meget værdifulde for visse Use Cases, men de er ikke generalister og vil ikke erstatte neural MT endnu, især når MT-arbejdsgange også udnytter ordliste, TM og/eller specialtrænede motorer. Hallucinationer, omkostninger og behovet for at konstruere en separat prompt for at få de ønskede resultater for hver brugssituation begrænser i øjeblikket bred anvendelse af LLM'er i mange organisationer.

Andriy Furdylo, Team Lead Engineer

Jeg har bemærket mange forsøg på at inkorporere sprogmodelmodeller (LLM'er) i forskellige forretningsområder, men ikke alle har været succesfulde. Hvis du ved, hvordan du stiller de rigtige spørgsmål, kan du opnå fremragende resultater. De er stadig kun en assistent, omend en meget intelligent en.

Max Sogin, VP for Engineering

60 % af ingeniørteamet bruger ChatGPT eller GitHub Copilot dagligt. Vi har fundet ud af, at trivielle prompter er væsentligt mindre stabile og mere effektive end sofistikerede, som gennemgår flere gentagelser af test og forfining. Jeg er nysgerrig efter at se, om prompter i sidste ende bliver genstand for IP. Vi holder også øje med mindre LLM'er som LLama og Alpaca, der kan tilbyde omkostningsstyring og in-house (mindre) modeller. LLM'er bliver meget dyre i store mængder/skala.

Det er tydeligt, at LLM'er har haft en stor indflydelse på Smartling i løbet af det seneste år, da vi har taget det til sig i både vores produkt og i daglige roller. Samlet set kan vi bestemt kalde 2024 for "The Year of Responsible AI", hvor fordelene ved innovation vil blive høstet globalt på en ansvarlig, etisk og mest effektiv måde. Vi ser frem til at samarbejde med vores kunder for at udforske disse nye muligheder sammen i år.