Avaliación
e validación
de tradución
automática
Plataforma para a avaliación e a validación de tradución automática mediante métricas automáticas e frameworks estandarizados de avaliación humana.
A calidade dun sistema de tradución automática non depende unicamente do modelo utilizado, senón de como se comporta en contextos reais, idiomas concretos e dominios especializados.
Vera nace para resolver ese problema: unha plataforma desenvolvida por imaxin para comparar modelos, validar resultados e controlar a evolución dos sistemas de tradución automática de forma continua e fiable.
O modelo define
a tradución
A opacidade da tradución automática neuronal (NMT) e os grandes modelos de linguaxe (LLM) fai que as métricas automáticas sexan insuficientes, xa que modelos con puntuacións similares renden de forma moi distinta en produción. Ademais, as actualizacións constantes poden introducir degradacións invisibles. Sen unha avaliación sólida, é imposible detectar estas perdas de calidade a tempo.
Investigación enfocada en
decisións reais
Vera integra nun único contorno web avaliación automática, avaliación humana e análise comparativa de resultados, facilitando procesos que habitualmente se realizan mediante ferramentas separadas e fluxos fragmentados.
A plataforma utilízase tanto para investigación e validación científica como para o control de calidade continuo dos nosos propios sistemas de tradución automática e plataformas como Opentrad.
- Licenciamento para universidades e centros de investigación
- Avaliación continua de modelos e motores de tradución
- Comparación obxectiva entre sistemas e versións
- Control de calidade antes de despregamentos en produción
Comparativa obxectiva
mediante métricas
Vera incorpora métricas de avaliación automática para medir precisión, similitude e calidade de tradución entre distintos sistemas.
A plataforma permite comparar o desempeño entre distintos modelos, calcular diferenzas estatísticas e detectar variacións entre modelos ou versións de forma sinxela e visual.
A calidade require
de persoas
Aínda que as métricas automáticas son esenciais para escalar procesos, a avaliación humana segue sendo a forma máis fiable de analizar a calidade real dunha tradución.
Vera integra o framework Multidimensional Quality Metrics (MQM) Core dentro do propio fluxo de traballo, permitindo realizar anotación colaborativa, revisar erros e analizar a correlación entre avaliación humana e automática desde unha única plataforma.
Mostra do dataset de avaliación
Pódese seleccionar a porcentaxe do corpus a avaliar xunto con distintas estratexias de mostraxe adaptadas ao dataset.
Avaliación multiusuario
Vera habilita a avaliación colaborativa de modelos entre distintas persoas usuarias e incorpora o cálculo de Inter-Annotator Agreement (IAA) para medir a consistencia entre anotacións.
Clasificación detallada de erros
Pódense filtrar segmentos por texto, tipo e severidade de erro ou estado de revisión, facilitando a exploración do corpus de avaliación.
Creación e refinamento de referencias
As persoas avaliadoras poden crear ou editar referencias de tres formas: partindo de cero, modificando referencias existentes ou usando como base a saída do modelo mellor puntuado.
Investigación aplicada a
problemas reais
Vera desenvólvese en colaboración con universidades e centros de investigación internacionais, combinando rigor científico e aplicación práctica en contornos de produción.
A plataforma foi presentada en foros especializados de avaliación de tradución automática e forma parte dunha liña de investigación industrial orientada a mellorar a calidade e a fiabilidade dos sistemas de IA lingüística.
Características
clave
A confianza
tamén se avalía
En imaxin cremos que a intelixencia artificial debe poder medirse, analizarse e validarse de forma transparente.
Por iso Vera non é só unha ferramenta de avaliación: é a base que nos permite construír sistemas de tradución automática máis fiables, precisos e adaptados a cada contexto lingüístico.
Non abonda con traducir. Hai que saber como de ben se traduce.
Traballas en avaliación
de tradución automática?
Se formas parte dunha universidade, grupo de investigación ou institución interesada en avaliación e validación de modelos MT, podemos axudarte a integrar VERA nos teus procesos de análise e experimentación.