Reporte especial Un artículo de investigación dirigido por Google publicado en Nature, que afirma que el software de aprendizaje automático puede diseñar mejores chips más rápido que los humanos, ha sido cuestionado después de que un nuevo estudio cuestionara sus resultados.
En junio de 2021, Google hizo titulares para desarrollar un sistema basado en el aprendizaje por refuerzo capaz de generar automáticamente planos optimizados de microchips. Estos planes determinan la disposición de los bloques de circuitos electrónicos dentro del chip: donde cosas como los núcleos de la CPU y la GPU, y los controladores de memoria y periféricos, realmente se sientan en el troquel de silicio físico.
Google dijo que estaba usando este software de IA para diseñar sus propios chips de TPU que aceleran las cargas de trabajo de IA: estaba empleando el aprendizaje automático para hacer que sus otros sistemas de aprendizaje automático funcionaran más rápido.
El plano de planta de un chip es importante porque dicta qué tan bien se desempeña el procesador. Deberá organizar los bloques de los circuitos del chip con cuidado para que, por ejemplo, las señales y los datos se propaguen entre estas áreas a una velocidad deseable. Los ingenieros suelen pasar semanas o meses refinando sus diseños tratando de encontrar la configuración óptima. Todos los diferentes subsistemas deben colocarse de una manera particular para producir un chip tan potente, energéticamente eficiente y pequeño como sea posible.
Producir un plano de planta hoy en día generalmente implica una combinación de trabajo manual y automatización utilizando aplicaciones de diseño de chips. El equipo de Google buscó demostrar que su enfoque de aprendizaje por refuerzo produciría mejores diseños que los que hacen los ingenieros humanos usando herramientas de la industria. No solo eso, Google dijo que su modelo completó su trabajo mucho más rápido que los ingenieros que iteraron sobre los diseños.
“A pesar de cinco décadas de investigación, la planificación de chips ha desafiado la automatización, requiriendo meses de intenso esfuerzo por parte de los ingenieros de diseño físico para producir un diseño fabricable... En menos de seis horas, nuestro método genera automáticamente planos de chips que son superiores o comparables a los producidos por humanos en todos los aspectos. métricas clave”, los Googlers escribí en su artículo de Nature.
La investigación llamó la atención de la comunidad de automatización del diseño electrónico, que ya se estaba moviendo hacia la incorporación de algoritmos de aprendizaje automático en sus conjuntos de software. Ahora, un equipo de la Universidad de California en San Diego (UCSD) ha cuestionado las afirmaciones de Google sobre su modelo mejor que los humanos.
¿Ventaja injusta?
Dirigido por Andrew Kahng, profesor de informática e ingeniería, ese grupo pasó meses realizando ingeniería inversa en la canalización de planificación de pisos que Google describió en Nature. El gigante de la web ocultó algunos detalles del funcionamiento interno de su modelo, citando sensibilidad comercial, por lo que la UCSD tuvo que descubrir cómo hacer su propia versión completa para verificar los hallazgos de Googlers. El profesor Kahng, notamos, se desempeñó como revisor de Nature durante el proceso de revisión por pares del artículo de Google.
Los académicos universitarios finalmente encontraron su propia recreación del código original de Google, conocido como entrenamiento de circuito (CT) en su estudio, en realidad se desempeñó peor que los humanos utilizando métodos y herramientas tradicionales de la industria.
¿Qué pudo haber causado esta discrepancia? Se podría decir que la recreación estaba incompleta, aunque puede haber otra explicación. Con el tiempo, el equipo de UCSD se enteró de que Google había utilizado un software comercial desarrollado por Synopsys, un importante fabricante de suites de automatización de diseño electrónico (EDA), para crear una disposición inicial de las puertas lógicas del chip que luego optimizó el sistema de aprendizaje por refuerzo del gigante web.
Los experimentos muestran que tener información de ubicación inicial puede mejorar significativamente los resultados de la TC
El documento de Google mencionó que se utilizaron herramientas de software estándar de la industria y ajustes manuales. después de el modelo había generado un diseño, principalmente para garantizar que el procesador funcionara según lo previsto y lo finalizara para la fabricación. Los Googlers argumentaron que este era un paso necesario ya sea que el plano de planta fuera creado por un algoritmo de aprendizaje automático o por humanos con herramientas estándar y, por lo tanto, su modelo merecía crédito por el producto final optimizado.
Sin embargo, el equipo de UCSD dijo que no se mencionaba en el artículo de Nature el uso de herramientas EDA. de antemano para preparar un diseño sobre el que iterar el modelo. Se argumenta que estas herramientas de Synopsys pueden haberle dado al modelo una ventaja lo suficientemente decente como para cuestionar las verdaderas capacidades del sistema de IA.
“Esto no fue evidente durante la revisión del artículo”, escribió el equipo de la universidad sobre el uso de la suite de Synopsys para preparar un diseño para el modelo, “y no se menciona en Nature. Los experimentos muestran que tener información de ubicación inicial puede mejorar significativamente los resultados de la TC”.
Nature investiga la investigación de Google
Desde entonces, algunos académicos han instado a Nature a revisar el artículo de Google a la luz del estudio de UCSD. En correos electrónicos a la revista vista por El registro, los investigadores destacaron las preocupaciones planteadas por el profesor Kahng y sus colegas, y cuestionaron si el artículo de Google era engañoso.
Bill Swartz, profesor titular de ingeniería eléctrica en la Universidad de Texas en Dallas, dijo que el artículo de Nature "dejó a muchos [investigadores] en la oscuridad", ya que los resultados involucraban las TPU patentadas del titán de Internet y, por lo tanto, eran imposibles de verificar.
El uso del software de Synopsys para preparar el software de Google debe investigarse, dijo. “Todos solo queremos saber el algoritmo real para poder reproducirlo. Si las afirmaciones [de Google] son correctas, entonces queremos implementarlas. Debería haber ciencia, debería ser todo objetivo; si funciona, funciona”, dijo.
La naturaleza dijo El registro está investigando el artículo de Google, aunque no dijo exactamente qué estaba investigando ni por qué.
“No podemos comentar los detalles de casos individuales por razones de confidencialidad”, nos dijo un portavoz de Nature. “Sin embargo, hablando en general, cuando surgen inquietudes sobre cualquier artículo publicado en la revista, las analizamos cuidadosamente siguiendo un proceso establecido.
“Este proceso implica consultar con los autores y, cuando corresponda, buscar el asesoramiento de revisores pares y otros expertos externos. Una vez que tenemos suficiente información para tomar una decisión, hacemos un seguimiento con la respuesta más apropiada y que brinda claridad a nuestros lectores sobre el resultado”.
Esta no es la primera vez que la revista realiza una investigación posterior a la publicación del estudio, que se enfrenta a un escrutinio renovado. El artículo de Googlers permaneció en línea con una corrección del autor agregada en marzo de 2022, que incluía un liga a algunos de los códigos CT de fuente abierta de Google para aquellos que intentan seguir los métodos del estudio.
¿Sin entrenamiento previo y sin suficiente computación?
Los autores principales del artículo de Google, Azalia Mirhoseini y Anna Goldie, dijeron que el trabajo del equipo de UCSD no es una implementación precisa de su método. Señalaron que el grupo del profesor Kahng obtuvo peores resultados porque no entrenaron previamente su modelo con ningún dato.
“Un método basado en el aprendizaje, por supuesto, funcionará peor si no se le permite aprender de la experiencia previa. En nuestro artículo de Nature, entrenamos previamente en 20 bloques antes de evaluar los casos de prueba retenidos”, dijeron los dos en un comunicado [(PDF)].
El equipo del profesor Kahng tampoco entrenó su sistema usando la misma cantidad de poder de cómputo que usó Google, y sugirió que es posible que este paso no se haya llevado a cabo correctamente, lo que paralizó el rendimiento del modelo. Mirhoseini y Goldie también dijeron que el paso de preprocesamiento utilizando aplicaciones EDA que no se describió explícitamente en su artículo de Nature no era lo suficientemente importante como para mencionarlo.
“El artículo [de la UCSD] se enfoca en el uso de la ubicación inicial desde la síntesis física hasta las celdas estándar de agrupamiento, pero esto no es una preocupación práctica. La síntesis física debe realizarse antes de ejecutar cualquier método de colocación”, dijeron. “Esta es una práctica estándar en el diseño de chips”.
El grupo UCSD, sin embargo, dijo no entrenaron previamente su modelo porque no tenían acceso a los datos de propiedad de Google. Sin embargo, afirmaron que su software había sido verificado por otros dos ingenieros del gigante de Internet, que también figuraban como coautores del artículo de Nature. El profesor Kahng presenta el estudio de su equipo en el Simposio Internacional sobre Diseño Físico de este año conferencia Martes.
Mientras tanto, Google continúa utilizando técnicas basadas en el aprendizaje por refuerzo para mejorar sus TPU, que se utilizan activamente en sus centros de datos.
Googler despedido afirma que la investigación fue promocionada por un lucrativo acuerdo en la nube
Por separado, las afirmaciones de desempeño sobrehumano del artículo de Nature de Google fueron cuestionadas internamente dentro del goliat de Internet. En mayo del año pasado, Satrajit Chatterjee, un investigador de IA, fue despedido de Google con causa; afirmó que lo despidieron porque había criticado y cuestionado los hallazgos del periódico. A Chatterjee también se le dijo que Google no publicaría su artículo criticando el primer estudio.
También fue acusado por otros Googlers de no solo criticar sino también de acosar a los colegas involucrados en el proyecto, y fue puesto bajo investigación por su presunto comportamiento. Desde entonces, Chatterjee demandó a Google en el Tribunal Superior de California en Santa Clara alegando terminación indebida. Chatterjee se negó a comentar para esta historia. Mirhoseini y Goldie abandonaron Google a mediados de 2022 después de que Chatterjee fuera despedido.
En su denuncia contra Google, que fue modificada [(PDF)] el mes pasado, los abogados de Chatterjee afirmaron que el gigante de la web estaba pensando en comercializar su software de generación de planos de planta basado en IA con "Company S" mientras negociaba un acuerdo de Google Cloud por un valor de $ 120 millones con S en ese momento. Chatterjee afirmó que Google defendió el documento del plano de planta para ayudar a convencer a la Compañía S de unirse a este importante pacto comercial.
“El estudio se realizó en parte como un primer paso hacia la posible comercialización con [Compañía S] (y se llevó a cabo con recursos de [Compañía S]). Dado que se hizo en el contexto de un gran acuerdo potencial de la nube, no habría sido ético insinuar que teníamos una tecnología revolucionaria cuando nuestras pruebas demostraron lo contrario”, escribió Chatterjee en un correo electrónico al director ejecutivo de Google, Sundar Pichai, vicepresidente y miembro de ingeniería Jay. Yagnik y el vicepresidente de Google Research, Rahul Sukthankar, que se reveló como parte de la demanda.
Sus documentos judiciales acusaron a Google de "exagerar" los resultados de su estudio y "retener deliberadamente información material de la Compañía S para inducirla a firmar un acuerdo de computación en la nube", cortejando efectivamente a la otra empresa usando lo que él vio como tecnología cuestionable.
La empresa S se describe como una "empresa de automatización de diseño electrónico" en los documentos judiciales. Personas familiarizadas con el asunto dijeron El registro La empresa S es Synopsis.
Synopsys y Google se negaron a comentar. ®
¿Hay alguna historia dentro del mundo de la inteligencia artificial que quieras compartir? Contáctenos confidencialmente.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2023/03/27/google_ai_chip_paper_nature/
