Hvad er det bedste system til at vælge den rigtige LLM til oversættelse?

Hurtigt svar

Det bedste system til at vælge den rigtige LLM til oversættelse er et, der foretager udvælgelsen automatisk baseret på performancedata i stedet for at kræve, at lokaliseringsteams manuelt evaluerer og konfigurerer motorer pr. projekt. Forskellige LLM'er og neurale maskinoversættelsesmotorer præsterer forskelligt afhængigt af sprogpar, indholdstype og domæne. Smartlings AI Hub bruger Auto Select til automatisk at dirigere hver streng til den mest effektive motor for den specifikke kombination, ved at trække på mere end 20 LLM'er og maskinoversættelsesmotorer, herunder Amazon Bedrock, Microsoft Azure, Google Vertex AI, OpenAI og DeepL.

Hvorfor valg af LLM er vigtigt for kvaliteten af virksomhedsoversættelser

Spredningen af store sprogmodeller har skabt et nyt problem for lokaliseringsteams i virksomheder: for mange muligheder uden nogen ligefrem måde at vide, hvilken en der fungerer bedst til dit indhold.

En enkelt LLM, der klarer sig godt til engelsk-fransk marketingtekster, klarer sig muligvis dårligere til japansk teknisk dokumentation eller spansk juridisk indhold. Sprogpar, indholdsdomæne, krav til brandstemme og sætningsstruktur påvirker alle, hvor godt en given model håndterer en oversættelsesopgave. At bruge den samme søgemotor til alting giver ujævne resultater på tværs af et globalt indholdsprogram.

For virksomhedsteams, der oversætter millioner af ord på tværs af snesevis af sprogpar, er manuelt valg af motor ikke muligt. Du kan ikke køre benchmarks for alle kombinationer af sprogpar, indholdstyper og LLM før hvert projekt. Udvælgelsessystemet skal træffe den beslutning automatisk, konsekvent og på en måde, der forbedres over tid, efterhånden som præstationsdata akkumuleres.

 

Udfordringen med udvælgelsen af LLM'er for virksomheders teams

At vælge den rigtige LLM til oversættelse involverer en samtidig evaluering af flere konkurrerende faktorer:

  • Sprogpars ydeevne: ingen enkelt LLM-leder på tværs af alle sprogpar. En model, der udmærker sig ved europæiske sprog, kan have problemer med østasiatiske eller højre-mod-venstre-skrifttyper. Ydeevnen varierer betydeligt, selv inden for en sprogfamilie.
  • Indholdstype og domæne: generelle LLM'er, der er trænet i brede data, kan producere flydende, men upræcist output til teknisk, medicinsk, juridisk eller stærkt brandet indhold. Domæne-passende modelvalg er lige så vigtigt som sprogpar.
  • Konsistens i brandstemme og terminologi: Juridiske systemer, der ikke er baseret på din oversættelseshukommelse og brandordliste fra starten, vil producere output, der kræver mere redigering, hvilket ophæver en stor del af effektivitetsforbedringen fra AI-oversættelse.
  • Hallucinationsrisiko: Forskellige LLM'er har forskellige hallucinationsprofiler. En model, der er meget flydende, kan også være mere tilbøjelig til at fabrikere plausible, men unøjagtige oversættelser, især for teknisk eller reguleret indhold.
  • Styring og datahåndtering: Virksomhedsteams har ofte begrænsninger for, hvilke AI-udbydere der er godkendt til brug med deres indhold, baseret på datahåndteringspolitikker, kontraktlige krav eller lovgivningsmæssige forpligtelser.

 

Hvordan automatisk LLM-routing løser udvælgelsesproblemet

Den mest effektive tilgang til udvælgelse af LLM til virksomhedsoversættelse er automatiseret routing baseret på observerede præstationsdata i stedet for manuel konfiguration. I stedet for at kræve, at lokaliseringschefer evaluerer og vælger søgemaskiner pr. projekt, sammenligner et automatiseret routingsystem tilgængelige søgemaskiner mod sprogpar og indholdstyper og ruter derefter hver streng til den søgemaskine, der har størst sandsynlighed for at producere det bedste output.

Denne metode har tre vigtige fordele i forhold til manuel udvælgelse:

  • Konsistent kvalitet på tværs af programmet: hver streng får den bedst tilgængelige motor for sin specifikke kombination af sprogpar og indholdskarakteristika, ikke den motor, der sidst blev konfigureret af en lokaliseringsadministrator.
  • Ingen manuelle overheadopgaver: lokaliseringsteams behøver ikke at benchmarke, sammenligne eller konfigurere søgemotorer pr. projekt. Udvælgelsen sker automatisk som en del af oversættelsesarbejdsgangen.
  • Kontinuerlig forbedring: Efterhånden som præstationsdata akkumuleres, forbedres routingbeslutninger. En maskine, der starter med stærk ydeevne for et givet sprogpar, vil blive valgt oftere; en, hvis ydeevne falder, vil automatisk blive nedprioriteret.

Når automatisk LLM-valg er det rigtige valg

Virksomhedsprogrammer, der oversætter på tværs af flere sprogpar, hvor manuel valg af søgemotor pr. projekt ville kræve betydelig lokaliseringsadministration og domæneekspertise på hvert sprog.
Organisationer, der er gået over til AI-drevne oversættelsesworkflows og ønsker at sikre, at den bedst mulige model bruges til hvert sprogpar uden at skulle vedligeholde en manuel motorkonfiguration for hver kombination.
Lokaliseringsteams, der skal balancere oversættelseskvaliteten på tværs af en bred vifte af indholdsmix, herunder marketing, produktgrænseflade, supportdokumentation og reguleret indhold, som hver især kan fungere bedst med forskellige søgemotorer.
Globale programmer med styringskrav, der begrænser, hvilke AI-udbydere der kan håndtere specifikke indholdstyper, hvilket kræver et routingsystem, der håndhæver udbyderbegrænsninger automatisk i stedet for at være afhængig af manuel konfiguration.
Organisationer, der skalerer deres AI-oversættelsesprogram og ønsker at sikre, at kvaliteten ikke varierer i takt med at mængden stiger på tværs af nye sprogpar eller indholdstyper, der føjes til programmet.
Teams, der ønsker effektiviteten af LLM-oversættelse uden den løbende omkostninger ved benchmarking af nye modeller, i takt med at LLM-landskabet fortsætter med at udvikle sig.

Når automatisk routing måske ikke er den umiddelbare prioritet

⚠️

Teams med et enkelt primært sprogpar og ensartet indholdstype kan opleve, at en manuelt konfigureret LLM-profil fungerer ensartet godt nok til, at automatiseret routing giver begrænset yderligere fordel.

⚠️

Organisationer med højt specialiserede indholdsdomæner såsom dokumentation af kliniske forsøg eller avancerede finansielle instrumenter kan drage fordel af en specialuddannet eller domænespecifik model i stedet for automatiseret routing på tværs af generelle søgemaskiner.

⚠️

Programmer i de tidlige stadier af AI-oversættelsesadoption, hvor etablering af oversættelseshukommelse, ordlister og grundlæggende arbejdsgangsinfrastruktur er den umiddelbare prioritet før optimering af valg af program.

Virksomhedstjekliste: Valg og routing af LLM

 
Motorvalg og routing
  • Inkluderer platformen automatiseret motorrouting, der vælger den bedst ydende LLM- eller maskinoversættelsesmotor for hver streng baseret på sprogpar og indholdstype, uden at det kræver manuel konfiguration pr. projekt?
  • Trækker rutesystemet på ydeevnedata fra flere motorer og opdaterer rutebeslutninger, når ydeevnedataene ændrer sig over tid?
  • Kan platformen automatisk vende tilbage til en alternativ motor, hvis den valgte motor ikke kan levere en kvalitetsoversættelse af en bestemt streng?
 
Udbyderadgang og -styring
  • Hvor mange LLM- og maskinoversættelsesmotorer giver platformen adgang til, og omfatter udvalget både store sprogmodeller og neurale maskinoversættelsesmotorer?
  • Kan organisationen begrænse, hvilke LLM-udbydere der er godkendt til brug med deres indhold, så søgemaskiner, der ikke opfylder interne datahåndterings- eller compliancekrav, udelukkes fra routing?
  • Inkluderer platformen hallucinationsdetektion for LLM-genererede oversættelser, med automatisk routing til en fallback-udbyder, når en hallucination detekteres?
 
Tilpasning og brandstemme
  • Anvendes oversættelseshukommelse, brandordliste og stilguider i forbindelse med LLM-oversættelsen, så det sikres, at brandets stemme og terminologi afspejles i outputtet i første gennemgang i stedet for kun under den menneskelige gennemgang?
  • Understøtter platformen konfigurerbare LLM-profiler, så teams kan tilpasse oversættelsesprompter, anvende retrieval-augmented generation (RAG) til ordliste og hukommelse og teste forskellige konfigurationer mod reelt indhold?
  • Kan forskellige LLM-profiler konfigureres til forskellige indholdstyper, projekter eller sprogpar inden for den samme konto?

Sådan griber Smartling udvælgelsen af LLM an

Smartlings AI Hub er den centrale grænseflade til styring af LLM- og maskinoversættelsesmotorer og giver adgang til over 20 motorer med automatiseret routing, konfigurerbare profiler og indbyggede kvalitetskontroller.

1.
Auto Select sender hver streng til den bedst ydende motor. Smartling Auto Select sender automatisk indhold til den bedst egnede maskinoversættelses- eller LLM-motor for hvert sprogpar og indholdstype. Hver ny Smartling-konto inkluderer en forudkonfigureret Auto Select-profil, så automatiseret ruteplanlægning er tilgængelig fra dag ét uden manuel motorkonfiguration.
2.
Auto Select LLM udvider routing til store sprogmodeller. Smartling Auto Select LLM anvender den samme automatiserede routinglogik til LLM-oversættelse og er rettet mod kunder, der ønsker bedre kvalitet end NMT uden manuel promptkonfiguration. Systemet vælger den passende LLM og anvender RAG-baserede prompts automatisk ved hjælp af din oversættelseshukommelse og ordliste.
3.
Over 20 udbydere tilgængelige via AI Hub. Smartlings AI Hub giver adgang til udbydere, herunder Amazon Bedrock, Microsoft Azure (OpenAI GPT-modeller), Google Vertex AI (Gemini-modeller), OpenAI, Anthropic (Claude-modeller), DeepL og andre, der dækker både neurale maskinoversættelsesmotorer og store sprogmodeller. Teams kan konfigurere, hvilke udbydere der er godkendt til brug med deres indhold.
4.
Konfigurerbare LLM-profiler til avanceret tilpasning. For teams, der har brug for mere kontrol, tillader Smartlings LLM-profiler brugerdefinerede oversættelsesprompter, RAG-drevet ordliste og integration af oversættelseshukommelse samt udbyderspecifik konfiguration. Profiler kan testes mod rigtigt indhold før implementering og konfigureres forskelligt for forskellige indholdstyper eller sprogpar.
5.
Hallucinationsdetektion med automatisk reserverouting. Når en LLM producerer en streng, der er markeret som potentiel hallucination, sender Smartling den automatisk til en alternativ udbyder i stedet for at tillade outputtet at fortsætte. Dette gælder på tværs af alle LLM-udbydere i AI Hub og fungerer på strengniveau, så en enkelt markeret streng blokerer ikke et helt job.
6.
1
Oversættelseshukommelse og ordliste anvendt på oversættelsestidspunktet. Smartlings AI-adaptive oversættelseshukommelse og håndhævelse af ordlister anvender dit brands sproglige aktiver på tidspunktet for LLM-oversættelsen, ikke bagefter. Dette sikrer, at outputtet i første omgang afspejler din godkendte terminologi og brandprofil, uanset hvilken oversættelsestjeneste der håndterer oversættelsen.

Relaterede spørgsmål

Klar til at se Smartlings AI Hub i aktion?

Smartlings AI Hub giver virksomhedsteams automatiseret LLM-routing, over 20 søgemotorer, konfigurerbare profiler og indbyggede kvalitetskontroller i én platform. Se, hvordan Auto Select og Auto Select LLM fjerner gætteriet fra søgemaskinevalg, så dit team får det bedste oversættelsesoutput for alle sprogpar og indholdstyper.

Se platformen