The Role of human reference translation in machine translation evaluation

Mostra el registre complet Registre parcial de l'ítem

• dc.contributor.author Fomicheva, Marina
• dc.contributor.other Bel Rafecas, Núria
• dc.contributor.other da Cunha Fanego, Iria
• dc.contributor.other Universitat Pompeu Fabra. Departament de Traducció i Ciències del llenguatge
• dc.date.accessioned 2024-03-16T02:34:26Z
• dc.date.available 2024-03-16T02:34:26Z
• dc.date.issued 2017-08-01T10:07:21Z
• dc.date.issued 2017-08-01T10:07:21Z
• dc.date.issued 2017-07-18
• dc.date.modified 2024-03-15T10:58:10Z
• dc.description.abstract Both manual and automatic methods for Machine Translation (MT) evaluation heavily rely on professional human translation. In manual evaluation, human translation is often used instead of the source text in order to avoid the need for bilingual speakers, whereas the majority of automatic evaluation techniques measure string similarity between MT output and a human translation (commonly referred to as candidate and reference translations), assuming that the closer they are, the higher the MT quality. In spite of the crucial role of human reference translation in the assessment of MT quality, its fundamental characteristics have been largely disregarded. An inherent property of professional translation is the adaptation of the original text to the expectations of the target audience. As a consequence, human translation can be rather different from the original text, which, as will be shown throughout this work, has a strong impact on the results of MT evaluation. The first goal of our research was to assess the effects of using human translation as a benchmark for MT evaluation. To achieve this goal, we started with a theoretical discussion of the relation between original and translated texts. We identified the presence of optional translation shifts as one of the fundamental characteristics of human translation. We analyzed the impact of translation shifts on automatic and manual MT evaluation showing that in both cases quality assessment is strongly biased by the reference provided. The second goal of our work was to improve the accuracy of automatic evaluation in terms of the correlation with human judgments. Given the limitations of reference-based evaluation discussed in the first part of the work, instead of considering different aspects of similarity we focused on the differences between MT output and reference translation searching for criteria that would allow distinguishing between acceptable linguistic variation and deviations induced by MT errors. In the first place, we explored the use of local syntactic context for validating the matches between candidate and reference words. In the second place, to compensate for the lack of information regarding the MT segments for which no counterpart in the reference translation was found, we enhanced reference-based evaluation with fluency-oriented features. We implemented our approach as a family of automatic evaluation metrics that showed highly competitive performance in a series of well-known MT evaluation campaigns.
• dc.description.abstract Tanto los métodos manuales como los automáticos para la evaluación de la Traducción Automática (TA) dependen en gran medida de la traducción humana profesional. En la evaluación manual, la traducción humana se utiliza a menudo en lugar del texto original para evitar la necesidad de hablantes bilingües, mientras que la mayoría de las técnicas de evaluación automática miden la similitud entre la TA y una traducción humana (comúnmente llamadas traducción candidato y traducción de referencia), asumiendo que cuanto más cerca están, mayor es la calidad de la TA. A pesar del papel fundamental que juega la traducción de referencia en la evaluación de la calidad de la TA, sus características han sido en gran parte ignoradas. Una propiedad inherente de la traducción profesional es la adaptación del texto original a las expectativas del lector. Como consecuencia, la traducción humana puede ser bastante diferente del texto original, lo cual, como se demostrará a lo largo de este trabajo, tiene un fuerte impacto en los resultados de la evaluación de la TA. El primer objetivo de nuestra investigación fue evaluar los efectos del uso de la traducción humana como punto de referencia para la evaluación de la TA. Para lograr este objetivo, comenzamos con una discusión teórica sobre la relación entre textos originales y traducidos. Se identificó la presencia de cambios de traducción opcionales como una de las características fundamentales de la traducción humana. Se analizó el impacto de estos cambios en la evaluación automática y manual de la TA demostrándose en ambos casos que la evaluación está fuertemente sesgada por la referencia proporcionada. El segundo objetivo de nuestro trabajo fue mejorar la precisión de la evaluación automática medida en términos de correlación con los juicios humanos. Dadas las limitaciones de la evaluación basada en la referencia discutidas en la primera parte del trabajo, en lugar de enfocarnos en la similitud, nos concentramos en el impacto de las diferencias entre la TA y la traducción de referencia buscando criterios que permitiesen distinguir entre variación lingüística aceptable y desviaciones inducidas por los errores de TA. En primer lugar, exploramos el uso del contexto sintáctico local para validar las coincidencias entre palabras candidato y de referencia. En segundo lugar, para compensar la falta de información sobre los segmentos de la TA para los cuales no se encontró ninguna relación con la traducción de referencia, introdujimos características orientadas a la fluidez de la TA en la evaluación basada en la referencia. Implementamos nuestro enfoque como una familia de métricas de evaluación automática que mostraron un rendimiento altamente competitivo en una serie de conocidas campañas de evaluación de la TA.
• dc.description.abstract Programa de doctorat en Traducció i Ciències del Llenguatge
• dc.format 174 p.
• dc.format application/pdf
• dc.format application/pdf
• dc.identifier http://hdl.handle.net/10803/404987
• dc.identifier.uri http://hdl.handle.net/10230/32662
• dc.language.iso eng
• dc.publisher Universitat Pompeu Fabra
• dc.rights L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by/4.0/
• dc.rights http://creativecommons.org/licenses/by/4.0/
• dc.rights info:eu-repo/semantics/openAccess
• dc.source TDX (Tesis Doctorals en Xarxa)
• dc.subject.keyword Machine translation
• dc.subject.keyword Statistical machine translation
• dc.subject.keyword Machine translation evaluation
• dc.subject.keyword Machine translation quality
• dc.subject.keyword Quality estimation
• dc.subject.keyword Automatic evaluation
• dc.subject.keyword Monolingual alignment
• dc.subject.keyword Translation errors
• dc.subject.keyword Distributional similarity
• dc.subject.keyword Translation studies
• dc.subject.keyword Translation shifts
• dc.subject.keyword Translationese
• dc.subject.keyword Translation equivalence
• dc.subject.keyword Traducción automática
• dc.subject.keyword Traducción automática estadística
• dc.subject.keyword Evaluación de la traducción automática
• dc.subject.keyword Calidad de la traducción automática
• dc.subject.keyword Estimación de calidad
• dc.subject.keyword Alineamiento monolingüe
• dc.subject.keyword Errores de traducción
• dc.subject.keyword Similitud distribucional
• dc.subject.keyword Estudios de traducción
• dc.subject.keyword Evaluación automática
• dc.subject.keyword Equivalencia traductora
• dc.subject.keyword 81
• dc.title The Role of human reference translation in machine translation evaluation
• dc.type info:eu-repo/semantics/doctoralThesis
• dc.type info:eu-repo/semantics/publishedVersion