Machine translation in a professional translation workflow: post-editing or computer aided translation

Abstract

Localization is a fascinating field which has changed dramatically in the last years and it is still changing and adapting itself as society is. The use of machine translation has developed this field astonishingly. Many companies have started including machine translation in their workflows to meet their tight deadlines and be more competitive in terms of budget. The aim of this work is to analyze several significant issues that must be considered when it comes to implementing machine translation in a professional translation workflow. We have carried out an experiment in which real texts from a company have been translated using human translation, statistical machine translation and neural machine translation. After that, a mixed pool of 40 experienced and novice post-editors has post-edited these texts. We have analyzed quantitatively the speed and edit distance of the post-editing phase and at the same time we have reviewed the quality of the different translations. Finally, we have used a qualitative approach in the shape of a questionnaire of 6 questions that post-editors have answered. This experiment with 40 post-editors has shown that, in a practical setup, human translation (HT) and machine translation (MT) are not that far away each other. Our research confirms that HT and MT can be interrelated. In addition to that, our work has confirmed that some post-editors think HT is MT, and the other way around. This means that MT allows post-editors to work as naturally as if they were reviewing HT. The results of the experiment and the feedback from post-editors also confirm that Neural Machine Translation (NMT) has helped to close the gap between HT and MT. Last but not least, results in our experiment also confirm that post-editing (PE) is more competitive than HT from an economic point of view.

La localización es un campo fascinante que ha cambiado drásticamente en los últimos años y todavía está cambiando y adaptándose a medida que la sociedad lo hace. El uso de la traducción automática ha desarrollado este campo de manera asombrosa. Muchas empresas han comenzado a incluir la traducción automática en sus flujos de trabajo para cumplir con sus plazos ajustados y ser más competitivos en términos de presupuesto. El objetivo de este trabajo es analizar varias cuestiones importantes que deben tenerse en cuenta a la hora de implementar la traducción automática en un flujo de trabajo profesional. Hemos llevado a cabo un experimento en el que se han traducido textos reales de una empresa mediante traducción humana, traducción automática estadística y traducción automática neuronal. Después, un grupo mixto de 40 post-editores experimentados y noveles han post-editado estos textos. Hemos analizado cuantitativamente la velocidad y el número de cambios de la fase de post-edición y, al mismo tiempo, hemos revisado la calidad de las diferentes traducciones. Finalmente, hemos utilizado un enfoque cualitativo mediante un cuestionario de 6 preguntas que los post-editores han respondido. Este experimento con 40 post-editores demuestra que en un entorno funcional la traducción humana (HT) y la traducción automática (MT) no están muy lejos la una de la otra. Nuestra investigación confirma que la HT y la MT pueden interrelacionarse. Además, nuestro trabajo ha confirmado que algunos post-editores piensan que HT es MT y al revés. Esto pone de manifiesto que la MT permite a los post-editores trabajar con MT de la misma manera que si estuvieran revisando HT. Los resultados del experimento y los comentarios de los post-editores demuestran también que la traducción automática neuronal (NMT) ha ayudado a acercar la HT y la MT. Por ultimo y no menos importante, nuestro experimento y sus resultados también confirman que la post-edición (PE) es más competitiva que la HT desde un punto de vista económico.

La localització és un camp fascinant que ha canviat dràsticament en els últims anys, i encara està canviant i s’està adaptant en la mesura que ho fa la societat. L’ús de la traducció automàtica ha donat un impuls enorme a aquest camp. Moltes empreses han començat a incloure la traducció automàtica en els seus fluxos de treball per poder complir amb els terminis ajustats amb què treballen i ser més competitives en el pressupost. L’objectiu d’aquest treball és analitzar diverses qüestions importants que han de ser tingudes en compte a l’hora d’implantar la traducció automàtica en un flux de treball professional. Hem dissenyat un experiment en el qual textos reals d’una empresa han estat traduïts mitjançant traducció humana, traducció automàtica estadística i traducció automàtica neuronal. Després, un grup mixt de 40 posteditors experimentats i novells han posteditat aquests textos. Hem analitzat quantitativament la velocitat i el nombre de canvis de la fase de postedició i, a la vegada, hem revisat la qualitat de les tres traduccions. Finalment, hem fet servir un enfocament qualitatiu a partir d’un qüestionari de 6 preguntes que han contestat els posteditors. Aquest experiment amb 40 posteditors demostra que en un entorn funcional la traducció humana (HT) i la traducció automàtica (MT) no queden gaire lluny l’una de l’altra. La nostra investigació confirma que la HT i la MT es poden interrelacionar. A més, el nostre treball confirma que alguns posteditors pensen que HT és MT i al revés. Això posa de manifest que la MT permet als posteditors treballar amb MT exactament com si estiguessin revisant HT. Els resultats de l’experiment i els comentaris dels posteditors demostren també que la traducció automàtica neuronal (NMT) ha contribuït a acostar la HT i la MT. Finalment i no per això menys important, el nostre experiment i els seus resultats confirmen també que la postedició (PE) és més competitiva que la HT des d’un punt de vista econòmic.

Programa de doctorat en Traducció i Ciències del Llenguatge