Hace poco, cuando estaba de vacaciones, quería tomar notas de un libro electrónico que estaba leyendo. Pero en lugar de tomar notas de audio o escribir cosas en un cuaderno, usé Lens para seleccionar una sección del libro, copiarla y pegarla en un documento. Eso me despertó la curiosidad: ¿cómo sucedió todo eso en mi teléfono? ¿Cómo reconoce una cámara las palabras en todas sus fuentes e idiomas?

Decidí llegar a la raíz de la pregunta y hablar con Ana Manasovska, una ingeniera de software con sede en Zúrich que es una de las Googlers en la primera línea para convertir una imagen en texto.

Ana, cuéntanos sobre tu trabajo en Lens.

Estoy involucrado con el aspecto del texto, así que me aseguro de que la aplicación pueda discernir el texto y copiarlo para una búsqueda o traducirlo, sin necesidad de escribir. Por ejemplo, si apunta la cámara de su teléfono a un cartel en un idioma extranjero, la aplicación puede traducir el texto en él. Y para las personas ciegas o con baja visión, puede leer el texto en voz alta. Es bastante impresionante.

Entonces, parte de lo que hace mi equipo es lograr que Lens reconozca no solo el texto, sino también la estructura del texto. Los humanos entendemos automáticamente la escritura que está separada en oraciones y párrafos, o bloques y columnas, y sabemos lo que va junto. Sin embargo, es muy difícil para una máquina distinguir eso.

¿Esto es aprendizaje automático?

Sí. En otras palabras, utiliza sistemas (los llamamos modelos) que hemos entrenado para discernir los caracteres y la estructura de las imágenes. Un sistema informático tradicional tendría solo una capacidad limitada para hacer esto. Pero nuestro modelo de aprendizaje automático se ha creado para "aprender por sí mismo" en enormes conjuntos de datos y está aprendiendo a distinguir estructuras de texto de la misma manera que lo haría un ser humano.

¿El sistema puede funcionar con diferentes idiomas?

Sí, puede reconocer 30 alfabetos, incluidos cirílico, devanagari, chino y árabe. Es más preciso en los idiomas con alfabeto latino en este momento, pero incluso allí, los diferentes tipos de fuentes presentan desafíos. El japonés y el chino son complicados porque tienen muchos matices en los caracteres. Lo que parece una pequeña variación para el ojo inexperto puede cambiar completamente el significado.

¿Cuál es la parte más desafiante de su trabajo?

Hay mucha complejidad y ambigüedad, que son un desafío, así que tuve que aprender a navegar por eso. Y tiene un ritmo muy rápido; las cosas se mueven constantemente y tienes que hacer muchas preguntas y hablar con mucha gente para obtener las respuestas que necesitas.

Cuando se trata de codificación real, ¿qué implica eso?

Principalmente utilizo un lenguaje de programación llamado C++, que le permite ejecutar los pasos de procesamiento necesarios para pasar de una imagen a una representación de palabras y estructura.

Hmmm, en cierto modo lo entiendo. Cómo se ve?

El código anterior muestra el proceso para extraer solo el alemán de una sección de texto. Entonces, digamos que la imagen mostraba alemán, francés e italiano: solo se extraería el alemán para traducirlo. ¿Tiene sentido?

¡Mas o menos! Dime lo que te gusta de tu trabajo.

Todo se reduce a mi amor de toda la vida por resolver problemas. Pero también me gusta mucho que estoy construyendo algo que puedo usar en mi vida diaria. Vivo en Zúrich pero no hablo bien alemán, así que uso Lens para traducir al inglés todos los días.