The recent improvements in neural MT (NMT) have driven a
shift from statistical MT (SMT) to NMT. However, to assess
the usefulness of MT models for post-editing (PE) and have
a detailed insight of the output they produce, we need to
analyse the most frequent errors and how they affect the
task. We present a pilot study of a fine-grained analysis of
MT errors based on post-editors corrections for an English
to Spanish medical text translated with SMT and NMT. We
use the MQM taxonomy to compare ...
The recent improvements in neural MT (NMT) have driven a
shift from statistical MT (SMT) to NMT. However, to assess
the usefulness of MT models for post-editing (PE) and have
a detailed insight of the output they produce, we need to
analyse the most frequent errors and how they affect the
task. We present a pilot study of a fine-grained analysis of
MT errors based on post-editors corrections for an English
to Spanish medical text translated with SMT and NMT. We
use the MQM taxonomy to compare the two MT models and
have a categorized classification of the errors produced.
Even though results show a great variation among posteditors’ corrections, for this language combination fewer
errors are corrected by post-editors in the NMT output. NMT
also produces fewer accuracy errors and errors that are
less critical.
+
Les millores recents en la TA neuronal (TAN) han impulsat
un canvi de la TA estadística (TAE) a la TAN. Tanmateix,
per avaluar la utilitat dels models de TA per a la postedició
(PE), és fonamental analitzar els errors més freqüents i com
afecten la tasca. Presentem un estudi pilot d'una anàlisi
detallada dels errors de la TA basat en correccions de
postedició d’un text mèdic traduït de l'anglès al castellà
amb TAE i TAN. Hem utilitzat la taxonomia MQM per
comparar els dos models de TA i hem ...
Les millores recents en la TA neuronal (TAN) han impulsat
un canvi de la TA estadística (TAE) a la TAN. Tanmateix,
per avaluar la utilitat dels models de TA per a la postedició
(PE), és fonamental analitzar els errors més freqüents i com
afecten la tasca. Presentem un estudi pilot d'una anàlisi
detallada dels errors de la TA basat en correccions de
postedició d’un text mèdic traduït de l'anglès al castellà
amb TAE i TAN. Hem utilitzat la taxonomia MQM per
comparar els dos models de TA i hem classificat els errors
produïts. La nostra anàlisi també inclou una avaluació de
la variació entre els posteditors, que se centra en els
passatges amb una major variació en la postedició.
+
Los avances recientes en TA neuronal (TAN) han producido
un giro desde la TA estadística (TAE) hacia la TAN. Sin
embargo, para evaluar la utilidad de los modelos de TA
para la posedición, es imprescindible analizar los errores más frecuentes y cómo afectan a esta tarea. Presentamos
el estudio piloto de un análisis pormenorizado de errores
en TA basado en las correcciones realizadas por los
poseditores en la traducción de un texto médico realizada
del inglés al castellano mediante TAE y TAN. ...
Los avances recientes en TA neuronal (TAN) han producido
un giro desde la TA estadística (TAE) hacia la TAN. Sin
embargo, para evaluar la utilidad de los modelos de TA
para la posedición, es imprescindible analizar los errores más frecuentes y cómo afectan a esta tarea. Presentamos
el estudio piloto de un análisis pormenorizado de errores
en TA basado en las correcciones realizadas por los
poseditores en la traducción de un texto médico realizada
del inglés al castellano mediante TAE y TAN. Utilizamos la
taxonomía MQM para comparar los dos modelos de TA y
obtener una clasificación categorizada de los errores
resultantes. Nuestro análisis incluye también una evaluación
de las diferencias entre poseditores, centrada en los pasajes
en los que la posedición presentaba mayor disparidad.
+
