Avaluar un proveïdor de traducció amb IA implica revisar tot el flux: fonts, tecnologia, terminologia, especialistes, controls de qualitat, seguretat i capacitat d’aprendre dels errors. La qualitat no es pot valorar pel nom del model ni per una demostració amb unes quantes frases senzilles.

Una avaluació útil parteix del contingut real, els mercats i les conseqüències d’un error.

1. Comença pel problema, no per l’eina

Defineix volum, idiomes, formats, freqüència, canals i terminis. Separa contingut repetitiu, màrqueting, documentació tècnica, pàgines de conversió i material regulat. Cada grup pot necessitar un flux diferent.

Un proveïdor fiable preguntarà per l’ús final i el risc abans de proposar tecnologia o nivell d’automatització.

2. Demana un mapa de fonts

El proveïdor ha d’explicar quina informació pot utilitzar la IA i com gestionarà contradiccions o buits. Les fonts poden incloure memòries, glossaris, guies de marca, catàlegs, documentació i contingut aprovat.

  • Quina font té prioritat?
  • Què es pot inferir?
  • Com es bloquegen claims no autoritzats?
  • Com arriben les actualitzacions a tots els idiomes?

Aquestes decisions formen part d’un sistema de continguts amb IA, no d’un prompt sense documentar.

3. Comprova la terminologia i la veu

Pregunta com es preparen i mantenen glossaris, memòries i regles d’estil. La veu de marca s’ha de convertir en instruccions i exemples verificables per idioma i canal.

La mostra ha d’incloure termes difícils, ambigüitat i variants de mercat. Les frases simples no demostren capacitat operativa.

4. Exigeix una revisió basada en el risc

No tot el contingut necessita revisió humana completa, però cap peça s’hauria d’automatitzar sense criteris. El proveïdor ha de classificar el risc segons visibilitat, regulació, impacte comercial, sensibilitat, permanència i reversibilitat.

El control humà ha d’especificar qui revisa, què valida i quan s’escala una incidència.

5. Revisa el sistema de QA

Pregunta quins controls automàtics i humans s’apliquen abans del lliurament o la publicació. Poden cobrir xifres, omissions, terminologia, variables, etiquetes, format i desviacions respecte de la font.

La checklist d’avaluació de contingut amb IA ofereix un marc complet. El proveïdor també ha de demostrar com registra les incidències i les converteix en millores.

6. Avalua els especialistes

Comprova qui dissenya el flux, qui revisa cada idioma i quina experiència té en el sector. “Human in the loop” no és suficient sense responsabilitat, abast i criteris d’acceptació clars.

7. Seguretat i tractament de dades

Demana informació sobre eines, ubicació i retenció de dades, accessos, ús per a entrenament i procediment davant d’incidències. L’entorn adequat depèn de la sensibilitat del material.

8. Integració i traçabilitat

El proveïdor ha d’explicar com rep el contingut, conserva identificadors, gestiona versions i retorna resultats al CMS, PIM, TMS o repositori. Pregunta com es vincula cada versió amb la font, el model, el glossari i la revisió.

9. Mètriques i criteris d’acceptació

Defineix què significa “aprovat” abans del pilot. Les mètriques poden incloure aprovació a la primera, errors per tipus, retraball, consistència terminològica i temps de cicle. Els scores automàtics ajuden a classificar, però no substitueixen totes les decisions humanes.

10. Utilitza un pilot representatiu

El pilot ha d’incloure casos fàcils i difícils: frases ambigües, formats, nombres, termes crítics, segments repetits i contingut amb diferents nivells de risc.

Valora més que el text final. Observa com el proveïdor planteja dubtes, documenta decisions i aplica el feedback al lot següent.

Com comparar el cost de dues propostes

Demana als proveïdors que pressupostin el mateix lot, amb les mateixes fonts, idiomes, camps i criteris d’acceptació. Separa la preparació de dades i terminologia, la generació, la revisió, les correccions i la integració al canal de destinació. Comprova també què es lliura al final del pilot: textos aprovats, glossari, regles, incidències pendents i responsabilitats per mantenir-los.

Calcula el cost per fitxa acceptada dividint el cost total del pilot pel nombre de fitxes que compleixen els criteris acordats. Inclou en el cost el treball de les peces retornades o bloquejades; no les comptis com a fitxes aprovades. Si compares lots de dificultat o risc diferents, registra aquesta diferència abans d’interpretar el preu.

En el cas publicat de Chachifarma, documentem un primer lot de validació i la preparació de glossari, prompts i instruccions de QA. Aquests fets descriuen la preparació d’un procés concret; no comparen proveïdors ni demostren un estalvi per a un altre catàleg.

El criteri que hi aplicaria és demanar al pilot una decisió concreta: què es pot ampliar, què necessita més revisió i quines dades continuen sense responsable o confirmació. Si el proveïdor lliura textos fluids però no permet reconstruir com s’han aprovat, cal resoldre aquest buit abans de contractar l’escalat.

Taula d’avaluació

Àrea Evidència que cal demanar Senyal d’alerta
Fonts Mapa i prioritats La IA omple buits sense control
Terminologia Glossari i manteniment Llista sense context ni responsables
Risc Classificació i nivell de revisió Mateix flux per a tot
QA Controls i registre d’errors Només correcció ortogràfica
Especialistes Rols i experiència Revisió humana sense definir
Seguretat Tractament i retenció Respostes genèriques
Mètriques Llindars i accions Un score presentat com a garantia

Preguntes abans de decidir

  • Quin contingut recomanaríeu no automatitzar?
  • Què feu quan les fonts es contradiuen?
  • Quins errors bloquegen sempre la publicació?
  • Qui aprova cada idioma?
  • Com canvia el feedback els lots futurs?
  • Què rebrem, a més dels textos finals?

La proposta ha d’explicar el sistema

Una bona proposta descriu abast, fonts, tecnologia, especialistes, controls, lliurables, responsabilitats i límits. La rapidesa o l’estalvi no demostren que el contingut estigui preparat per publicar.

Per comparar aquests criteris amb un flux governat, consulta el nostre servei de traducció amb IA.