Hvordan opdager virksomheder hallucinationer i AI-genererede oversættelser?

Hvad er hallucinationer i AI-oversættelse?

Når store sprogmodeller bruges til oversættelse, kan de generere output, der lyder naturligt og flydende, men ikke nøjagtigt afspejler betydningen af kildeindholdet. Denne adfærd kaldes hallucinationer.

I modsætning til en simpel fejloversættelse er en hallucination ikke åbenlyst forkert. Outputtet læses som grammatisk korrekt, kontekstuelt plausibel tekst, hvilket gør den sværere at opfatte ved simpel gennemgang og sværere at opdage i stor skala. LLM'en har i bund og grund fabrikeret indhold, der passer til målsprogets overflademønster uden at bevare kildens semantiske intention.

For lokaliseringsteams i virksomheder er dette en betydelig risiko. Brandkritisk marketingindhold, lovgivningsmæssige oplysninger, produktdokumentation og kundevendte grænseflader kræver alle oversættelser, der ikke bare er flydende, men også præcise. En LLM-hallucination i en farmaceutisk etiket, en finansiel oplysning eller en sikkerhedsinstruktion har reelle forretningsmæssige, compliance- og omdømmemæssige konsekvenser.

Hvordan hallucinationer manifesterer sig i lokaliseret indhold

AI-oversættelseshallucinationer har en tendens til at optræde i flere genkendelige mønstre:

• Tilføjet eller opdigtet indhold: LLM'en indsætter oplysninger, der ikke findes i kilden, såsom udvidede forklaringer, opfundne produktpåstande eller yderligere kontekst, som modellen har udledt i stedet for at oversætte.
• Udeladt indhold: Nøglesætninger, kvalifikationer eller ansvarsfraskrivelser fra kilden udelades, fordi modellen nedprioriterede dem i forbindelse med generering af flydende output.
• Semantisk inversion: Betydningen af en frase vendes om eller ændres væsentligt, mens overfladestrukturen forbliver plausibel. Dette er især almindeligt ved negationer, betingede sætninger og kvalificerede påstande.
• Inkonsekvent terminologi: Modellen bruger forskellige termer for det samme koncept på tværs af et dokument eller erstatter med et plausibelt term, der er teknisk forkert i konteksten.
• Fejl i kontekstvinduet: Når indhold overstiger modellens effektive kontekstvindue, kan senere afsnit blive oversat med mindre opmærksomhed på tidligere kildeindhold, hvilket producerer hallucinerede fortsættelser.

Hvorfor hallucinationsdetektion er vigtig på virksomhedsniveau

Manuel gennemgang kan opdage hallucinationer i små programmer, men den skalerer ikke. Virksomhedslokaliseringsprogrammer oversætter millioner af ord på tværs af snesevis af sprogpar, og ingen menneskelig gennemgangsproces kan give fuld dækning i den mængde uden at blive den primære flaskehals.

Løsningen er automatiseret detektion på oversættelsestidspunktet: et system, der identificerer potentielle hallucinationer, før strengen bevæger sig fremad i arbejdsgangen, sender markeret indhold til en alternativ udbyder eller en menneskelig gennemgang og bevarer et revisionsspor for, hvilket indhold der blev markeret, og hvorfor.

Dette er især vigtigt for organisationer i regulerede brancher, hvor oversættelsesnøjagtighed er et krav om overholdelse af regler, og for enhver virksomhed, der implementerer AI-oversættelse i stor skala uden at et menneske gennemgår hver streng.

Når hallucinationsdetektion måske ikke er den primære bekymring

Tjekliste for virksomheder: hallucinationsdetektion

Detektionsfunktioner

• Inkluderer platformen automatisk hallucinationsdetektion for LLM-genererede oversættelser, aktiveret som standard i stedet for at kræve manuel konfiguration?
• Markerer detektionssystemet potentielle hallucinationer på strengniveau, så individuelle problematiske strenge kan omdirigeres uden at afvise en hel batch?
• Kan markerede strenge automatisk dirigeres til en alternativ oversættelsesudbyder eller et menneskeligt gennemgangstrin i stedet for at tillade det potentielt hallucinerede output at fortsætte?

Gennemsigtighed og styring

• Opretholder platformen et revisionsspor over, hvilke strenge der blev markeret for potentielle hallucinationer, hvilken udbyder der håndterede det oprindelige output, og hvilken udbyder eller anmelder der håndterede fallback-løsningen?
• Kan hallucinationsdetektion konfigureres på LLM-profilniveau, hvilket giver lokaliseringsteams kontrol over, hvordan detektion anvendes på tværs af forskellige indholdstyper og arbejdsgange?
• Giver platformen indsigt i hallucinationsdetektionsrater efter LLM-udbyder, sprogpar og indholdstype, så teams kan identificere, hvilke kombinationer der genererer den største risiko?

Integration med bredere kvalitetskontroller

• Er hallucinationsdetektion integreret med andre kvalitetskontroller såsom MQM-baseret LQA-scoring og estimering af sproglig kvalitet, hvilket giver flere lag af kvalitetssikring?
• Understøtter platformen human-in-the-loop-gennemgang af indhold, der er markeret ved hallucinationsdetektion, hvor korrekturlæsere ser den markerede streng, kilden og den kontekst, hvori den vises?

Sådan griber Smartling hallucinationsdetektion an

Smartlings hallucinationsdetektionsfunktion er indbygget i LLM-oversættelsesarbejdsgangen og aktiveret som standard, når en LLM bruges som primær oversættelsesudbyder. Når systemet identificerer en streng med en potentiel hallucination, markerer det automatisk problemet og sender den berørte streng til en alternativ udbyder eller arbejdsgang i stedet for at tillade outputtet at fortsætte mod offentliggørelse.

Smartlings AI Hub giver adgang til over 20 LLM'er og maskinoversættelsesmotorer, hvor Auto Select dirigerer indhold til den mest effektive motor for hvert sprogpar. Hallucinationsdetektion gælder på tværs af LLM-udbydere i hubben og sikrer ensartet kvalitetsstyring uanset hvilken model der vælges.

Relaterede spørgsmål