Una historia de la traducción automática desde la Guerra Fría hasta el aprendizaje profundo

Abro Google Translate el doble de veces que Facebook, y la traducción instantánea de las etiquetas de precio ya no es un cyberpunk para mí. Eso es lo que llamamos realidad. Es difícil imaginar que esto sea el resultado de una lucha centenaria para construir los algoritmos de traducción automática y que no ha habido un éxito visible durante la mitad de ese período.

Los desarrollos precisos que discutiré en este artículo sientan las bases de todos los sistemas modernos de procesamiento del lenguaje, desde los motores de búsqueda hasta los microondas controlados por voz. Me refiero a la evolución y la estructura de la traducción online en la actualidad.

Al principio

La historia comienza en 1933. El científico soviético Peter Troyanskii presentó "la máquina para la selección e impresión de palabras al traducir de un idioma a otro" a la Academia de Ciencias de la URSS. El invento fue súper simple: tenía tarjetas en cuatro idiomas diferentes, una máquina de escribir y una cámara de película de la vieja escuela.

El operador tomó la primera palabra del texto, encontró la tarjeta correspondiente, tomó una foto y escribió sus características morfológicas (sustantivo, plural, genitivo) en la máquina de escribir. Las teclas de la máquina de escribir codificaban una de las funciones. La cinta y la película de la cámara se utilizaron simultáneamente, realizando un conjunto de fotogramas con palabras y su morfología.

A pesar de todo esto, como sucedía a menudo en la URSS, el invento fue considerado “inútil”. Troyanskii murió de estenocardia después de intentar terminar su invento durante 20 años. Nadie en el mundo conocía la máquina hasta que dos científicos soviéticos encontraron sus patentes en 1956.

Fue al comienzo de la Guerra Fría. El 7 de enero de 1954, en la sede de IBM en Nueva York, comenzó el experimento Georgetown-IBM. La computadora IBM 701 tradujo automáticamente 60 frases en ruso al inglés por primera vez en la historia.

“Una chica que no entendía ni una palabra del idioma de los soviéticos marcaba los mensajes en ruso en tarjetas de IBM. El “cerebro” imprimió sus traducciones al inglés en una impresora automática a la velocidad vertiginosa de dos líneas y media por segundo ” , informó el comunicado de prensa de IBM.

Sin embargo, los titulares triunfantes ocultaron un pequeño detalle. Nadie mencionó que los ejemplos traducidos fueron cuidadosamente seleccionados y probados para excluir cualquier ambigüedad. Para el uso diario, ese sistema no era mejor que un libro de frases de bolsillo. Sin embargo, se lanzó este tipo de carrera armamentista: Canadá, Alemania, Francia y especialmente Japón se unieron a la carrera por la traducción automática.

La carrera por la traducción automática

Las vanas luchas por mejorar la traducción automática duraron cuarenta años. En 1966, el comité ALPAC de EE. UU., En su famoso informe, calificó la traducción automática como costosa, inexacta y poco prometedora. En cambio, recomendaron centrarse en el desarrollo de diccionarios, lo que eliminó a los investigadores estadounidenses de la carrera durante casi una década.

Aun así, solo los científicos y sus intentos, investigaciones y desarrollos crearon una base para el procesamiento del lenguaje natural moderno. Todos los motores de búsqueda, filtros de spam y asistentes personales de hoy en día aparecieron gracias a un grupo de países que se espiaban entre sí.

Traducción automática basada en reglas (RBMT)

Las primeras ideas en torno a la traducción automática basada en reglas aparecieron en los años 70. Los científicos observaron el trabajo de los intérpretes, tratando de obligar a las computadoras tremendamente lentas a repetir esas acciones. Estos sistemas consistieron en:

  • Diccionario bilingüe (RU -> EN)
  • Un conjunto de reglas lingüísticas para cada idioma (por ejemplo, los sustantivos que terminan en ciertos sufijos como -heit, -keit, -ung son femeninos)

Eso es. Si es necesario, los sistemas podrían complementarse con trucos, como listas de nombres, correctores ortográficos y transliteradores.

PROMPT y Systran son los ejemplos más famosos de sistemas RBMT. Basta con echar un vistazo a Aliexpress para sentir el suave aliento de esta edad dorada.

Pero incluso tenían algunos matices y subespecies.

Traducción automática directa

Este es el tipo de traducción automática más sencillo. Divide el texto en palabras, las traduce, corrige levemente la morfología y armoniza la sintaxis para que todo suene bien, más o menos. Cuando se pone el sol, lingüistas capacitados escriben las reglas para cada palabra.

La salida devuelve algún tipo de traducción. Por lo general, es bastante horrible. Parece que los lingüistas perdieron el tiempo en balde.

Los sistemas modernos no utilizan este enfoque en absoluto, y los lingüistas modernos están agradecidos.

Traducción automática basada en transferencias

A diferencia de la traducción directa, nos preparamos primero determinando la estructura gramatical de la oración, como nos enseñaron en la escuela. Luego manipulamos construcciones completas, no palabras, después. Esto ayuda a obtener una conversión bastante decente del orden de las palabras en la traducción. En teoria.

En la práctica, todavía resultó en una traducción literal y lingüistas exhaustos. Por un lado, trajo reglas gramaticales generales simplificadas. Pero, por otro lado, se volvió más complicado debido al mayor número de construcciones de palabras en comparación con las palabras individuales.

Traducción automática interlingüística

En este método, el texto fuente se transforma en la representación intermedia y se unifica para todos los idiomas del mundo (interlingua). Es la misma interlingua que soñó Descartes: un metalenguaje, que sigue las reglas universales y transforma la traducción en una simple tarea de “ida y vuelta”. A continuación, interlingua se convertiría a cualquier idioma de destino, ¡y aquí estaba la singularidad!

Debido a la conversión, Interlingua a menudo se confunde con los sistemas basados ​​en transferencias. La diferencia son las reglas lingüísticas específicas de cada idioma e interlingua, y no los pares de idiomas. Esto significa que podemos agregar un tercer idioma al sistema interlingua y traducir entre los tres. No podemos hacer esto en sistemas basados ​​en transferencias.

Parece perfecto, pero en la vida real no lo es. Fue extremadamente difícil crear interlingua tan universal; muchos científicos han trabajado en ello toda su vida. No lo han logrado, pero gracias a ellos ahora tenemos niveles de representación morfológicos, sintácticos e incluso semánticos. ¡Pero la única teoría del texto con significado cuesta una fortuna!

La idea del lenguaje intermedio volverá. Esperemos un rato.

Como puede ver, todos los RBMT son tontos y aterradores, y esa es la razón por la que rara vez se usan a menos que se trate de casos específicos (como la traducción del informe meteorológico, etc.). Entre las ventajas de RBMT, a menudo se mencionan su precisión morfológica (no confunde las palabras), la reproducibilidad de los resultados (todos los traductores obtienen el mismo resultado) y la capacidad de sintonizarlo con el área temática (para enseñar a economistas o términos específico para programadores, por ejemplo).

Incluso si alguien tuviera éxito en la creación de un RBMT ideal y los lingüistas lo mejoraran con todas las reglas de ortografía, siempre habría algunas excepciones: todos los verbos irregulares en inglés, prefijos separables en alemán, sufijos en ruso y situaciones en las que las personas simplemente dilo de otra manera. Cualquier intento de tener en cuenta todos los matices desperdiciaría millones de horas hombre.

Y no te olvides de los homónimos. La misma palabra puede tener un significado diferente en un contexto diferente, lo que conduce a una variedad de traducciones. ¿Cuántos significados puedes captar aquí: vi a un hombre en una colina con un telescopio ?

Los idiomas no se desarrollaron sobre la base de un conjunto fijo de reglas, un hecho que los lingüistas adoran. Estuvieron mucho más influenciados por la historia de invasiones de los últimos trescientos años. ¿Cómo podrías explicarle eso a una máquina?

Cuarenta años de Guerra Fría no ayudaron a encontrar ninguna solución distinta. RBMT estaba muerto.

Traducción automática basada en ejemplos (EBMT)

Japón estaba especialmente interesado en luchar por la traducción automática. No hubo Guerra Fría, pero hubo razones: muy poca gente en el país sabía inglés. Prometió ser un gran problema en la próxima fiesta de la globalización. Así que los japoneses estaban muy motivados para encontrar un método de trabajo de traducción automática.

La traducción del inglés al japonés basada en reglas es extremadamente complicada. La estructura del idioma es completamente diferente, y casi todas las palabras deben reorganizarse y agregarse nuevas. En 1984, a Makoto Nagao de la Universidad de Kyoto se le ocurrió la idea de usar frases prefabricadas en lugar de traducciones repetidas .

Imaginemos que tenemos que traducir una frase sencilla: "Voy al cine". Y digamos que ya hemos traducido otra frase similar - “Voy al teatro” - y podemos encontrar la palabra “cine” en el diccionario.

Todo lo que necesitamos es averiguar la diferencia entre las dos oraciones, traducir la palabra que falta y luego no arruinarlo. Cuantos más ejemplos tengamos, mejor será la traducción.

¡Construyo frases en idiomas desconocidos exactamente de la misma manera!

EBMT mostró la luz del día a científicos de todo el mundo: resulta que puede alimentar la máquina con las traducciones existentes y no pasar años creando reglas y excepciones. Todavía no es una revolución, pero claramente es el primer paso hacia ella. La revolucionaria invención de la traducción estadística se produciría en solo cinco años.

Traducción automática estadística (SMT)

A principios de 1990, en el IBM Research Center, se mostró por primera vez un sistema de traducción automática que no sabía nada sobre reglas y lingüística en su conjunto. Analizó textos similares en dos idiomas y trató de comprender los patrones.

La idea era simple pero hermosa. Una oración idéntica en dos idiomas dividida en palabras, que luego se emparejaron. Esta operación se repitió unas 500 millones de veces para contar, por ejemplo, cuántas veces la palabra "Das Haus" se tradujo como "casa" frente a "edificio" frente a "construcción", y así sucesivamente.

Si la mayor parte del tiempo la palabra fuente se tradujo como "casa", la máquina utilizó esto. Tenga en cuenta que no establecimos ninguna regla ni usamos ningún diccionario; todas las conclusiones se hicieron por máquina, guiadas por estadísticas y la lógica de que "si la gente traduce de esa manera, yo también". Y así nació la traducción estadística.

El método fue mucho más eficiente y preciso que todos los anteriores. Y no se necesitaban lingüistas. Cuantos más textos utilizamos, mejor traducción conseguimos.

Todavía quedaba una pregunta: ¿cómo correlacionaría la máquina la palabra “Das Haus” y la palabra “edificio”, y cómo sabríamos que estas son las traducciones correctas?

La respuesta fue que no lo sabríamos. Al principio, la máquina asumió que la palabra "Das Haus" se correlacionaba igualmente con cualquier palabra de la oración traducida. A continuación, cuando apareciera “Das Haus” en otras frases, aumentaría el número de correlaciones con la “casa”. Ese es el "algoritmo de alineación de palabras", una tarea típica del aprendizaje automático a nivel universitario.

La máquina necesitaba millones y millones de oraciones en dos idiomas para recopilar las estadísticas relevantes para cada palabra. ¿Cómo los conseguimos? Bueno, decidimos tomar los resúmenes de las reuniones del Parlamento Europeo y del Consejo de Seguridad de las Naciones Unidas; estaban disponibles en los idiomas de todos los países miembros y ahora estaban disponibles para su descarga en UN Corpora y Europarl Corpora.

SMT basado en Word

Al principio, los primeros sistemas de traducción estadística funcionaban dividiendo la oración en palabras, ya que este enfoque era sencillo y lógico. El primer modelo de traducción estadística de IBM se llamó Modelo uno. Bastante elegante, ¿verdad? ¿Adivina cómo llamaron al segundo?

Modelo 1: "la bolsa de palabras"

El modelo uno utilizó un enfoque clásico: dividir en palabras y contar estadísticas. No se tuvo en cuenta el orden de las palabras. El único truco era traducir una palabra en varias. Por ejemplo, "Der Staubsauger" podría convertirse en "Aspiradora", pero eso no significa que resulte al revés.

Aquí hay algunas implementaciones simples en Python: shawa / IBM-Model-1.

Modelo 2: considerar el orden de las palabras en oraciones

La falta de conocimiento sobre el orden de las palabras de los idiomas se convirtió en un problema para el Modelo 1, y es muy importante en algunos casos.

El modelo 2 se ocupó de eso: memorizó el lugar habitual que ocupa la palabra en la oración de salida y barajó las palabras para obtener un sonido más natural en el paso intermedio. Las cosas mejoraron, pero todavía estaban un poco feas.

Modelo 3: fertilidad extra

A menudo aparecían nuevas palabras en la traducción, como artículos en alemán o el uso de "do" al negar en inglés. “Ich will keine Persimonen” → “Me hago no quiero caquis.” Para solucionarlo, se agregaron dos pasos más al Modelo 3.

  • La inserción del token NULL, si la máquina considera la necesidad de una nueva palabra
  • Elegir la partícula gramatical o palabra correcta para cada alineación de palabra simbólica

Modelo 4: alineación de palabras

El modelo 2 consideró la palabra alineación, pero no sabía nada sobre el reordenamiento. Por ejemplo, los adjetivos a menudo cambian de lugar con el sustantivo, y no importa qué tan bien se haya memorizado el orden, no mejorará el resultado. Por lo tanto, el Modelo 4 tuvo en cuenta el llamado "orden relativo": el modelo aprendía si dos palabras siempre cambiaban de lugar.

Modelo 5: corrección de errores

Nada nuevo aqui. El modelo 5 obtuvo algunos parámetros más para el aprendizaje y solucionó el problema con las posiciones de las palabras en conflicto.

A pesar de su naturaleza revolucionaria, los sistemas basados ​​en palabras aún no lograron abordar los casos, el género y la homonimia. Cada palabra fue traducida de una manera única y verdadera, según la máquina. Estos sistemas ya no se utilizan, ya que han sido reemplazados por los métodos más avanzados basados ​​en frases.

SMT basado en frases

Este método se basa en todos los principios de traducción basados ​​en palabras: estadísticas, reordenamiento y trucos léxicos. Aunque, para el aprendizaje, dividió el texto no solo en palabras sino también en frases. Estos eran los n-gramas, para ser precisos, que eran una secuencia contigua de n palabras en una fila.

Por lo tanto, la máquina aprendió a traducir combinaciones constantes de palabras, lo que mejoró notablemente la precisión.

El truco era que las frases no siempre eran construcciones sintácticas simples y la calidad de la traducción se reducía significativamente si alguien que conocía la lingüística y la estructura de las oraciones interfería. Frederick Jelinek, el pionero de la lingüística informática, bromeó al respecto una vez: "Cada vez que despido a un lingüista, el rendimiento del reconocedor de voz aumenta".

Además de mejorar la precisión, la traducción basada en frases proporcionó más opciones para elegir los textos bilingües para el aprendizaje. Para la traducción basada en palabras, la coincidencia exacta de las fuentes fue fundamental, lo que excluyó cualquier traducción literaria o gratuita. La traducción basada en frases no tuvo problemas para aprender de ellos. Para mejorar la traducción, los investigadores incluso comenzaron a analizar los sitios web de noticias en diferentes idiomas para ese propósito.

A partir de 2006, todos comenzaron a utilizar este enfoque. Google Translate, Yandex, Bing y otros traductores en línea de alto perfil trabajaron como basados ​​en frases hasta 2016. Probablemente cada uno de ustedes pueda recordar los momentos en que Google tradujo la oración sin problemas o resultó en una completa tontería, ¿verdad? La tontería provino de características basadas en frases.

El buen enfoque basado en reglas de siempre proporcionó un resultado predecible aunque terrible. Los métodos estadísticos fueron sorprendentes y desconcertantes. Google Translate convierte "trescientos" en "300" sin dudarlo. Eso se llama anomalía estadística.

La traducción basada en frases se ha vuelto tan popular que cuando escuchas "traducción automática estadística" eso es lo que realmente se quiere decir. Hasta 2016, todos los estudios elogiaron la traducción basada en frases como lo último en tecnología. En aquel entonces, nadie pensó que Google ya estaba avivando sus fuegos, preparándose para cambiar toda nuestra imagen de la traducción automática.

SMT basado en sintaxis

Este método también debe mencionarse brevemente. Muchos años antes de la aparición de las redes neuronales, la traducción basada en la sintaxis se consideraba "el futuro o la traducción", pero la idea no despegó.

Los defensores de la traducción basada en sintaxis creían que era posible fusionarla con el método basado en reglas. Es necesario hacer un análisis de sintaxis bastante preciso de la oración para determinar el sujeto, el predicado y otras partes de la oración, y luego construir un árbol de oración. Utilizándolo, la máquina aprende a convertir unidades sintácticas entre idiomas y traduce el resto por palabras o frases. Eso habría resuelto el problema de la alineación de palabras de una vez por todas.

El problema es que el análisis sintáctico funciona terriblemente, a pesar de que lo consideramos resuelto hace un tiempo (ya que tenemos las librerías listas para usar para muchos lenguajes). Intenté usar árboles sintácticos para tareas un poco más complicadas que analizar el sujeto y el predicado. Y cada vez que me rendí y usé otro método.

Avísame en los comentarios si logras usarlo al menos una vez.

Traducción automática neuronal (NMT)

En 2014 se publicó un artículo bastante divertido sobre el uso de redes neuronales en la traducción automática. Internet no lo notó en absoluto, excepto Google: sacaron sus palas y comenzaron a cavar. Dos años después, en noviembre de 2016, Google hizo un anuncio revolucionario.

La idea estuvo cerca de transferir el estilo entre fotos. ¿Recuerdas aplicaciones como Prisma, que mejoraron las imágenes con el estilo de algún artista famoso? No hubo magia. A la red neuronal se le enseñó a reconocer las pinturas del artista. A continuación, se eliminaron las últimas capas que contenían la decisión de la red. La imagen estilizada resultante fue solo la imagen intermedia que obtuvo la red. Esa es la fantasía de la cadena y la consideramos hermosa.

Si podemos transferir el estilo a la foto, ¿qué pasa si intentamos imponer otro idioma a un texto fuente? El texto sería ese preciso “estilo de artista”, y trataríamos de transferirlo manteniendo la esencia de la imagen (en otras palabras, la esencia del texto).

Imagínese que estoy tratando de describir a mi perro: tamaño promedio, nariz afilada, cola corta, siempre ladra. Si te di este conjunto de características del perro, y si la descripción fuera precisa, podrías dibujarlo, aunque nunca lo hayas visto.

Ahora, imagine que el texto fuente es el conjunto de características específicas. Básicamente, significa que lo codifica y deja que la otra red neuronal lo decodifique de nuevo al texto, pero en otro idioma. El decodificador solo conoce su idioma. No tiene idea del origen de las características, pero puede expresarlas, por ejemplo, en español. Continuando con la analogía, no importa cómo dibujes al perro: con crayones, acuarela o tu dedo. Lo pintas como puedas.

Una vez más, una red neuronal solo puede codificar la oración para el conjunto específico de características, y otra solo puede decodificarlas en el texto. Ambos no tienen idea del otro, y cada uno de ellos solo conoce su propio idioma. ¿Recuerdas algo? Interlingua está de vuelta. Ta-da.

La pregunta es, ¿cómo encontramos esas características? Es obvio cuando hablamos del perro, pero ¿cómo lidiar con el texto? Hace treinta años, los científicos ya intentaron crear el código del lenguaje universal, y terminó en un fracaso total.

Sin embargo, ahora tenemos aprendizaje profundo. ¡Y esa es su tarea esencial! La principal distinción entre el aprendizaje profundo y las redes neuronales clásicas radica precisamente en la capacidad de buscar esas características específicas, sin tener idea de su naturaleza. Si la red neuronal es lo suficientemente grande y hay un par de miles de tarjetas de video a mano, también es posible encontrar esas características en el texto.

Teóricamente, podemos pasar las características obtenidas de las redes neuronales a los lingüistas, para que puedan abrirse nuevos horizontes valientes.

La pregunta es, ¿qué tipo de red neuronal debería usarse para codificar y decodificar? Las redes neuronales convolucionales (CNN) se adaptan perfectamente a las imágenes, ya que funcionan con bloques de píxeles independientes.

Pero no hay bloques independientes en el texto, cada palabra depende de su entorno. El texto, el habla y la música siempre son consistentes. Entonces, las redes neuronales recurrentes (RNN) serían la mejor opción para manejarlas, ya que recuerdan el resultado anterior, la palabra anterior, en nuestro caso.

Ahora los RNN se utilizan en todas partes: el reconocimiento de voz de Siri (analiza la secuencia de sonidos, donde el siguiente depende del anterior), los consejos del teclado (memoriza el anterior, adivina el siguiente), la generación de música e incluso los chatbots.

Para los nerds como yo: de hecho, la arquitectura de los traductores neuronales varía mucho. El RNN regular se usó al principio, luego se actualizó a bidireccional, donde el traductor consideró no solo las palabras antes de la palabra fuente, sino también la palabra siguiente. Eso fue mucho más efectivo. Luego siguió con el RNN multicapa hardcore con unidades LSTM para el almacenamiento a largo plazo del contexto de traducción.

En dos años, las redes neuronales superaron todo lo que había aparecido en los últimos 20 años de traducción. La traducción neuronal contiene un 50% menos de errores en el orden de las palabras, un 17% menos de errores léxicos y un 19% menos de errores gramaticales. Las redes neuronales incluso aprendieron a armonizar género y caso en diferentes idiomas. Y nadie les enseñó a hacerlo.

Las mejoras más notables se produjeron en campos donde nunca se utilizó la traducción directa. Los métodos de traducción automática estadística siempre funcionaron utilizando el inglés como fuente principal. Por lo tanto, si tradujo del ruso al alemán, la máquina primero tradujo el texto al inglés y luego del inglés al alemán, lo que conduce a una doble pérdida.

La traducción neuronal no necesita eso, solo se requiere un decodificador para que pueda funcionar. Esa fue la primera vez que se hizo posible la traducción directa entre idiomas sin un diccionario común.

Traductor de Google (desde 2016)

En 2016, Google activó la traducción neuronal para nueve idiomas. Desarrollaron su sistema llamado Google Neural Machine Translation (GNMT). Consta de 8 capas de codificador y 8 de decodificador de RNN, así como conexiones de atención desde la red de decodificadores.

No solo dividieron oraciones, sino también palabras. Así fue como abordaron uno de los principales problemas de NMT: las palabras raras. Los NMT están indefensos cuando la palabra no está en su léxico. Digamos, "Vas3k". Dudo que alguien haya enseñado a la red neuronal a traducir mi apodo. En ese caso, GMNT intenta dividir las palabras en trozos de palabras y recuperar la traducción de las mismas. Inteligente.

Sugerencia: el traductor de Google utilizado para la traducción de sitios web en el navegador todavía usa el antiguo algoritmo basado en frases. De alguna manera, Google no lo ha actualizado y las diferencias son bastante notables en comparación con la versión en línea.

Google utiliza un mecanismo de crowdsourcing en la versión en línea. Las personas pueden elegir la versión que consideren más correcta, y si a muchos usuarios les gusta, Google siempre traducirá esta frase de esa manera y la marcará con una insignia especial. Esto funciona fantásticamente para frases cortas de todos los días, como "Vamos al cine" o "Te estoy esperando". Google conoce el inglés conversacional mejor que yo :(

Bing de Microsoft funciona exactamente como Google Translate. Pero Yandex es diferente.

Yandex Translate (desde 2017)

Yandex lanzó su sistema de traducción neuronal en 2017. Su característica principal, como se declaró, fue la hibridación. Yandex combina enfoques neuronales y estadísticos para traducir la oración y luego elige el mejor con su algoritmo CatBoost favorito.

La cuestión es que la traducción neuronal a menudo falla al traducir frases cortas, ya que usa el contexto para elegir la palabra correcta. Sería difícil si la palabra apareciera muy pocas veces en los datos de un entrenamiento. En tales casos, una simple traducción estadística encuentra la palabra correcta de forma rápida y sencilla.

Yandex no comparte los detalles. Nos defiende con comunicados de prensa de marketing. BUENO.

Parece que Google usa SMT para la traducción de palabras y frases cortas. No mencionan eso en ningún artículo, pero es bastante notable si observa la diferencia entre la traducción de expresiones cortas y largas. Además, SMT se utiliza para mostrar las estadísticas de la palabra.

La conclusión y el futuro

Todo el mundo sigue entusiasmado con la idea del "pez Babel": traducción instantánea de voz. Google ha dado pasos hacia eso con sus Pixel Buds, pero de hecho, todavía no es lo que estábamos soñando. La traducción instantánea de voz es diferente de la traducción habitual. Necesita saber cuándo empezar a traducir y cuándo callarse y escuchar. Todavía no he visto enfoques adecuados para resolver esto. A menos que, tal vez, Skype ...

Y aquí hay un área vacía más: todo el aprendizaje se limita al conjunto de bloques de texto paralelos. Las redes neuronales más profundas todavía aprenden en textos paralelos. No podemos enseñar la red neuronal sin proporcionarle una fuente. Las personas, en cambio, pueden complementar su léxico con la lectura de libros o artículos, incluso si no los traducen a su lengua materna.

Si la gente puede hacerlo, la red neuronal también puede hacerlo, en teoría. Solo encontré un prototipo que intentaba incitar a la red, que conoce un idioma, a leer los textos en otro idioma para ganar experiencia. Lo probaría yo mismo, pero soy tonto. Vale eso es todo.

Esta historia fue escrita originalmente en ruso y luego traducida al inglés en Vas3k.com por Vasily Zubarev. Es mi amigo por correspondencia y estoy bastante seguro de que su blog debería difundirse.

Enlaces útiles

  • Philipp Koehn: traducción automática estadística. La colección más completa de los métodos que he encontrado.
  • Moisés: biblioteca popular para crear traducciones estadísticas propias
  • OpenNMT: una biblioteca más, pero para los traductores neuronales
  • El artículo de uno de mis bloggers favoritos que explica RNN y LSTM
  • Un video "Cómo hacer un traductor de idiomas", chico divertido, explicación ordenada. Aún no es suficiente.
  • Guía de texto de TensorFlow sobre la creación de su propio traductor neuronal, para aquellos que quieran más ejemplos y probar el código.

Otros artículos de Vas3k.com

Cómo funcionan Ethereum y los contratos inteligentes

Máquina de Turing distribuida con protección Blockсhain vas3k.com Blockchain de adentro hacia afuera: cómo funciona Bitcoin

De una vez por todas en palabras simples vas3k.com

Una última cosa…

Si le gustó este artículo, haga clic en ? a continuación y compartirlo con otras personas para que ellos también puedan disfrutarlo.