Logotipo de Zephyrnet

IoT en IA, visión por computadora y simulación

Fecha:

[Contenido incrustado]

Adam Scraba, director de marketing de productos de NVIDIA, se une a Ryan Chacon en el podcast IoT For All para debatir IoT en IA, visión de computadoray simulación. Hablan del crecimiento de IoT, visión AI y gemelos digitales, cómo la IA y la IoT están creando valor, los desafíos de la adopción de la IoT, la importancia del conocimiento del dominio para el éxito y cámaras como sensores de IoT.

Patrocinador del episodio 311: KORE Wireless

¡Twilio Super SIM ahora es KORE Super SIM! El 1 de junio, KORE Wireless adquirió Twilio IoT y, con él, la solución más sencilla para conectar su hardware de forma fiable en todo el mundo.

Super SIM es una SIM única que brinda acceso a más de 400 redes, incluidos los 3 principales operadores de primer nivel en los EE. UU. La conmutación automática por error de la red significa un tiempo de actividad máximo para sus dispositivos.

Y comenzar es fácil: solo visite korewireless.com/supersim-iotforall

Nuestra Empresa Adam Scraba

Adam Scraba es director de marketing de productos e impulsa la evangelización y el marketing a nivel mundial para la plataforma informática acelerada de NVIDIA al aplicar inteligencia artificial y aprendizaje profundo al análisis de vídeo para resolver problemas críticos en una variedad de industrias.

Antes de esto, fue responsable de liderar el desarrollo comercial y las alianzas estratégicas de NVIDIA aplicando inteligencia artificial y aprendizaje profundo al análisis de video para iniciativas de ciudades inteligentes en todo el mundo. A lo largo de su carrera, ha trabajado con empresas, nuevas empresas y gobiernos de Fortune 500.

Interesado en conectarse con Adam? ¡Comunícate en LinkedIn!

Nuestra Empresa NVIDIA

NVIDIA es el pionero de la computación acelerada por GPU. La invención de la GPU por parte de la compañía en 1999 redefinió los gráficos por computadora y los juegos, inició la era de la IA moderna y está impulsando la creación del Metaverso industrial, en el que la GPU actúa como el cerebro de robots, máquinas autónomas y vehículos autónomos que pueden percibir y comprender el mundo que les rodea.

Preguntas y temas clave de este episodio:

(00: 45) Introducción a Adam Scraba y NVIDIA

(01: 34) ¿Qué ha permitido el crecimiento de IoT?

(03: 32) Definición de visión AI y visión por computadora

(06: 00) ¿Cómo están creando valor las tecnologías de IoT y AI?

(08: 02) Desafíos de la adopción de IoT

(11: 20) Importancia del conocimiento del dominio para el éxito

(12: 54) Gemelos digitales y simulación

(17: 00) Cámaras como sensores de IoT

(20: 12) Más información y seguimiento


Transcripción:

– [Ryan] Bienvenido Adam al podcast IoT para todos. Gracias por estar aquí esta semana. 

– [Adam] Gracias por invitarme.

– [Ryan] Antes de entrar en detalles, me encantaría que pudieras dar una breve introducción sobre ti y la empresa a nuestra audiencia. 

– [Adam] Soy Adam Scraba. Lidero el marketing de un esfuerzo de IA aplicada dentro de NVIDIA que se centra en aplicar la IA a la automatización de la infraestructura.

Aprovechamos mucho el IoT. Trabajamos en cosas como comercio minorista inteligente, hospitales inteligentes, fabricación, espacios inteligentes como aeropuertos y reducción de la congestión del tráfico en las calles de nuestra ciudad, todo ello utilizando sensores e IoT. He estado en la empresa durante bastante tiempo y he estado involucrado en este esfuerzo desde el principio.

Ha sido bastante emocionante. Hago mucha evangelización y trabajo con un ecosistema de socios realmente grande, en crecimiento y en rápida evolución. 

– [Ryan] Obviamente, hemos visto que IoT ha crecido muchísimo en los últimos años en diferentes industrias. El costo de adopción e implementación está disminuyendo en diferentes elementos.

Las soluciones se están probando y escalando incluso mejor que antes. Entonces, con todo ese crecimiento y todos estos sensores desplegados, ¿qué está pasando? ¿Qué ves que está pasando ahora? O qué crees que sucederá a continuación, supongo que debería decir. ¿Cuáles son las principales cosas a las que deberíamos prestar atención con ese crecimiento? 

– [Adam] Es muy interesante. En nuestro espacio, uno de los sensores o dispositivos de IoT más grandes con los que interactuamos son las cámaras. Ya sabes, es la cámara de red. Hay estimaciones, y yo las creo firmemente, de que probablemente haya alrededor de dos mil millones de cámaras instaladas en todo el mundo.

Y podría decirse que es uno de los dispositivos de IoT más importantes y valiosos que tenemos. Hay tantas preguntas que se pueden responder con cámaras, y estamos viendo algo realmente increíble. En primer lugar, como usted dijo, los costos se están reduciendo en gran medida y representa un área de aplicación de IA realmente importante para que tenga sentido. de todo.

Y como mencioné en la introducción, nos concentramos mucho en problemas realmente importantes, y con la naturaleza generalizada de estos sensores por primera vez, realmente podemos abordar cosas realmente importantes. Por ejemplo, las muertes en accidentes de tránsito son la causa número uno de muerte en los EE. UU. y, gracias a estos datos, por primera vez podemos abordarlas como si fuera una enfermedad. Al contrario, es inevitable, y eso es realmente importante. Y ese es sólo un ejemplo. Existe un esfuerzo realmente interesante para reducir a cero esas muertes y, por primera vez, podemos hacerlo gracias al IoT.

– [Ryan] Déjame preguntarte, hablamos de video. Definitivamente es un área popular ahora, el siguiente nivel de detección a través de cámaras y tecnologías, muchas cosas disponibles, visión AI, visión por computadora, inspección óptica automatizada. ¿Qué son esas cosas? ¿Puedes definir a alto nivel cuándo la gente escucha esos términos, esto es lo que significan o en lo que deberías pensar?

– [Adam] Sí, creo que la forma más fácil de pensar en muchas de estas cosas es una analogía muy simple. Y ojalá tenga sentido. La forma más sencilla de pensar en esto es como un esfuerzo de automatización. Y lo que quiero decir con esto es que si piensas, no pensamos en un robot, como el de Star Wars, un robot que se mueve y emite pitidos, pero que tiene cierto nivel de autonomía, o tú. Podemos pensar en un vehículo autónomo. Ambos robots.

Un robot realmente hace tres cosas. Percibe el mundo que lo rodea. Hay algún razonamiento que genera, como razonar que estoy a punto de chocar contra una pared o que hay un auto frente a mí y necesito aplicar los frenos. Y luego está la acción. Alguna acción física. Frenos, movimiento, lo que sea.

Percepción, razonamiento y toma de acción. Lo que estamos haciendo en muchas industrias diferentes, y en lo que nuestro equipo realmente se enfoca y piensa mucho, es en convertir la infraestructura en un robot. Y entonces, esa visión de IA, esa percepción, esa primera cosa que percibe el mundo que te rodea usando cámaras, es como, francamente, la última, desde que el aprendizaje profundo y la IA realmente explotaron, digamos hace una década, es decir, pasamos el Los últimos años han perfeccionado realmente la idea de dotar a las máquinas de una visión sobrehumana a través de la percepción. Y esa es probablemente la forma más fácil de pensarlo. Y ese concepto de convertir la infraestructura, ya sea un aeropuerto, una habitación de hospital o una intersección en una calle de la ciudad, compras sin fricciones, como nuestras tiendas minoristas, se convertirán cada vez más en robots que simplemente no se mueven.

Eso es realmente lo que estamos haciendo. Y eso es todo, yo diría que esa es probablemente la mejor manera de pensar en todos estos sensores y esa IA, estos son solo el nivel de percepción, pero en realidad, esa es una parte importante, es un tercio. Pero lo realmente interesante es cuando realmente puedes decir no sólo lo que está sucediendo ahora, sino lo que está por suceder a continuación, y ¿cómo puedo mejorarlo? ¿Cómo puedo salvar una vida? ¿Cómo puedo permitir que un comprador tenga una experiencia mejor, más placentera y súper placentera mientras compra sus alimentos? Creo que eso es a lo que realmente estamos tratando de llegar. 

– [Ryan] Entonces, ¿cómo ayudan estas tecnologías a llegar a ese punto, verdad? Por ejemplo, ¿cómo es implementar sensores, colocar estas cámaras y estas soluciones, estas herramientas de IA, herramientas de IoT en el comercio minorista, en las ciudades? ¿Cómo están creando valor estas cosas?

– [Adam] Hay tanta ineficiencia. Y nuevamente, cuál es el papel que yo, la lente a través de la cual veo el mundo, es en gran medida a través de estos procesos físicos. Y nuevamente, podríamos ir uno por uno. Si piensas en la manufactura, hay una cantidad significativa de trabajo manual que es ineficiente, o y yo no diría trabajo manual,

Siempre pienso que los procesos son muy ineficientes. Hay una inspección que es muy rudimentaria y que, como las hojas de afeitar de Gillette que salen de la línea o los productos de PepsiCo, podrían inspeccionarse en busca de defectos mucho más arriba del proceso para ahorrar una cantidad significativa de dólares a través de la visión artificial. Los minoristas tienen una cantidad increíble de desperdicio que puede ser, es una cantidad asombrosa. Son billones de dólares los que se desperdician en el comercio minorista. Agricultura. Podemos mejorar los alimentos donde literalmente los tenemos, y por primera vez es como si la polinización robótica estuviera comenzando a convertirse en una herramienta para producir alimentos de manera más eficiente.

Pero lo realmente interesante es que hay un componente de eficiencia y también un componente de seguridad y esas dos cosas a menudo van de la mano, particularmente todos estos son procesos físicos en los que pensamos. Y la seguridad en el lugar de trabajo es muy importante. Tenemos cada vez más, y a medida que aumenta la automatización en nuestras instalaciones de producción, ahora hay máquinas y humanos coexistiendo.

Y esa es un área que podemos hacer mucho más segura simplemente dándole a nuestra infraestructura más sentido, más percepción y más capacidad para mejorar los procesos. 

– [Ryan] Cuando se trata de la adopción, ya sea que la empresa lo adopte para brindar a sus clientes una mejor experiencia o que lo adopte una empresa para usarlo internamente dentro de las organizaciones, siempre hay desafíos cuando se trata de implementar y adoptar soluciones de IoT. , ¿bien?

Muchas veces es nuevo. Se está integrando con sistemas potencialmente heredados. Podría crear nuevos desafíos comerciales para las organizaciones. Cuando piensa en las empresas que adoptan IoT, ya sea para ellas mismas o para su cliente final o algo que venderán a un cliente, ¿dónde ve que se encuentran los mayores desafíos fuera de la parte técnica?

Porque la pieza técnica, obviamente, es de la que hemos hablado mucho antes y también puede depender del entorno, de lo que hay actualmente, de la infraestructura actual que ya existe dentro de una organización, pero si se quita eso, ¿qué ¿Considera que estos son los desafíos más grandes cuando se trata de llevar IoT a un negocio o, potencialmente, al negocio de sus clientes? 

– [Adam] Hay una tendencia interesante que creo que coincide con lo que estás diciendo. Y es interesante porque se superpone ligeramente con el aspecto técnico. Pero espero poder explicarlo. Lo que somos, porque, incluso en mi rol, sabemos literalmente en los últimos nueve años que hemos estado en esto, lo hemos visto en los primeros días, como usted dijo, toda esta tecnología es muy nuevo. Lo que había era gente de tecnología, en nuestro caso, mucha gente de visión por computadora, dictando o creando soluciones que pensaban que eran apropiadas para una vertical particular, ya fuera comercio minorista, manufactura o ciudades inteligentes. En los últimos nueve años, la madurez de estas herramientas y la IA ha aumentado tanto que la accesibilidad de poder crear estas herramientas ha tenido un efecto realmente interesante en el que hoy ya no son estos veteranos de 30 años de visión por computadora los que intentan resolver un comercio minorista o un tráfico, un problema de ciudad inteligente. Ahora tenemos las herramientas para que los expertos de la industria, las personas del sector minorista o del fabricante, que literalmente entienden realmente su vertical, tengan acceso para aprovechar la IoT y la IA por primera vez porque la abstracción de estas herramientas ha permitido a las personas acceder a la magia de cosas como la IA sin necesidad de ser una persona de IA.

No necesitan ser científicos de datos. Realmente no necesitan saber mucho. Las herramientas son geniales. Y esa explosión de madurez de estas herramientas realmente ha tenido un efecto profundo en el valor de las aplicaciones. Ya no estamos, ya no es una solución perseguir un problema.

Ahora podemos encontrar un problema candente y resolverlo mucho más fácilmente. Y, por ejemplo, literalmente, incluso este año, hemos visto ciudades, por primera vez, creando sus propias soluciones para utilizar la IA para resolver problemas de tráfico. Raleigh, Carolina del Norte, es un gran ejemplo con el que hemos trabajado durante algún tiempo.

Solíamos trabajar con ellos desde el punto de vista de que aquí hay un ecosistema de socios de aplicaciones que pueden ayudarlo. Ahora están construyendo sus propias soluciones utilizando IA. Por primera vez, tenemos ciudades, y eso es solo, ya sabes, si me hubieras dicho eso incluso hace seis o siete meses, probablemente me habría reído de ti, pero ese es el tipo de cosas que estamos Estoy viendo, y creo que eso va a cambiar todo en muchas de estas industrias. 

– [Ryan] Una de las cosas que he visto que realmente conduce o ayuda a contribuir a que las implementaciones sean exitosas es poder tener una comprensión muy clara del conocimiento del dominio y la experiencia sobre dónde se implementará, entendiendo al cliente final. , el medio ambiente, el negocio, etcétera.

Y sí, una empresa que crea estas soluciones puede aprender eso. Pero cuanto más se pueda acercar eso a las personas en realidad, o a las personas que lo son, cuanto más se pueda acercar eso y tener a las personas involucradas que están haciendo esto día a día como parte de ese proceso, supongo que mayores serán las posibilidades de lograrlo. construir algo que vaya a tener éxito.

Entonces, he notado que muchas empresas se centran en herramientas más verticales específicas, aplicaciones verticales específicas, al mismo tiempo que hacen posible que aquellos que están en esas industrias utilicen las herramientas y no tengan que trabajar siempre con otra empresa. para desarrollarse, lo que también puede llevar a que se pierdan cosas en esas conversaciones para construir lo que es exactamente necesario para el usuario final.

Así que he visto que eso realmente juega un papel importante en el crecimiento o el éxito de muchas implementaciones diferentes. 

– [Adam] Sí, 100%. Y creo que eso es lo interesante de estar en un negocio como este y que todos nosotros veamos cómo sucede esto. Esto no es, a veces decimos, esto no lo es, no es ni un poquito más barato ni un poquito mejor.

Esto es algo completamente nuevo, y se necesita un tipo de composición genética muy diferente a casi solo una experiencia y apertura para ir y probar algunas cosas. Y por eso los primeros usuarios están haciendo un trabajo mágico con nosotros. 

– [Ryan] Tuve un invitado hace un tiempo y estábamos hablando de simulación en IoT.

Y cuando me uní por primera vez al espacio de IoT hace unos siete años, la simulación era un gran tema. Fue la capacidad de implementar sin implementar y sin la inversión inicial, sin el hardware, sin todas las piezas técnicas, para calcular y mostrar el retorno de la inversión antes de que se necesitara esa inversión.

Y luego los gemelos digitales se hicieron más populares. Eso se convirtió en algo muy importante. Y luego estoy empezando a ver la combinación de gemelos digitales y simulación, como gemelos físicos en cierto sentido también. Por lo tanto, existe una gran relación entre el éxito y la capacidad de utilizar la simulación y los gemelos digitales para construir algo que se ajuste mejor posible.

¿Cómo cree que el crecimiento de esas áreas contribuye a una adopción y un éxito más amplios en IoT, incluso ahora incorporando herramientas de inteligencia artificial como parte de ese proceso? 

– [Adam] Sí, es bastante increíble. Y creo que habla un poco de la accesibilidad de algunas de estas herramientas. Estamos viendo simulación y gemelos digitales, como mencionaste, se ha hablado durante mucho tiempo, pero lo que realmente estamos viendo es un aumento, y lo que también es interesante es que tenemos esta posición tan envidiable y agradable como NVIDIA en la que hemos estado. el comienzo en el mundo de la simulación. Se podría argumentar mucho, y creo que nadie discutiría, la idea de que los juegos, y mucha gente piensa que NVIDIA comenzó con los juegos. Los juegos son realmente una simulación de un mundo 3D. Simula, y simulamos la física, simulamos toda la iluminación. Simulamos todas estas cosas. Así que siempre hemos tenido un pie en el mundo de la simulación. Así que ahora podemos tomar muchas de las tecnologías que se crearon para juegos, renderizado y simulación física para simular, por supuesto, vehículos autónomos. ¿Cómo es posible que conduzcas una cantidad X de millones de millas en un vehículo sin siquiera fabricarlo y agregarle inteligencia artificial? Esto se hace a través de la simulación, y estamos viendo que en todo, y particularmente ahora con IoT, ahora podemos simular entornos. Estamos simulando con 5G.

Estamos simulando dónde deben estar las torres 5G en una ciudad, y lo estamos simulando todo en gemelos digitales y luego implementándolo. En nuestro espacio simulamos cámaras. ¿Dónde debería estar la ubicación de la cámara en las calles de la ciudad para simular la interacción del tráfico y los ciclistas y aumentar la seguridad?

Qué es y gran parte del trabajo que hacemos ahora une el gemelo digital con las operaciones físicas. Entonces, cuando diseñas en el espacio de simulación, y diseñas para operar, y cuando lo operas, gran parte de la IA que hacemos, la percepción con sensores y cámaras, ahora podemos unir lo que intentas diseñar la experiencia. o el escenario que intentaste diseñar, ahora lo asignamos a lo que realmente está sucediendo en el mundo real. La otra cosa realmente interesante que estamos viendo es que la simulación no solo nos permite hacer un gemelo digital de una calle o entorno de una ciudad o una instalación de fabricación antes de construirla y, curiosamente, ver cómo se verá. La simulación se está convirtiendo ahora en una parte muy importante de la IA. Ahora podemos, por primera vez, utilizar la simulación para ayudarnos a desarrollar soluciones de IA realmente complejas. Para el ejemplo de una matriz de sensores en un entorno, ahora podemos simular lo que está sucediendo, generar datos reales artificiales y luego simular lo que ven todos los sensores y usar toda esa información para entrenar nuestras redes neuronales para que hagan algo como rastrear cajas en una cadena de suministro de miles de pies cuadrados a través de cientos de sensores.

Sólo podemos hacerlo en el espacio de los gemelos digitales. Entonces, algunas de las soluciones realmente complejas y sorprendentes que estamos implementando ahora tuvieron, realmente, sus comienzos en el gemelo digital. Esa es la única manera en que puedes hacer algunas de estas cosas. Entonces es muy emocionante. 

– [Ryan] Quería volver antes de terminar aquí y hablar, y hacerte una pregunta sobre hasta dónde hemos llegado en lo que respecta a las cámaras y su capacidad para proporcionar valor. Debido a que las personas con las que he hablado antes han dudado en adoptar cámaras, todavía están tratando de comprender qué tan confiables son, qué tan confiable es el software detrás de ellas para cosas como soluciones de visión por computadora, visión artificial, etc.

Si escucho esto y trato de entender lo que necesito ser, lo que realmente necesito, lo que realmente necesito saber sobre lo que pueden hacer, el papel que realmente pueden desempeñar y dónde estamos en general cuando En cuanto a ese tipo de soluciones, ¿qué le diría a alguien que todavía está indeciso?

– [Adam] Hemos recorrido un largo camino. Creo, y les daré, solo les daré algunos ejemplos. Y, por cierto, también creo que hemos recorrido un largo camino, pero ni siquiera estamos cerca de donde estaremos en el futuro. Todavía estamos, esto es, todo lo que estamos haciendo todavía, todavía estamos en las primeras etapas de hacia dónde irá todo esto. Pero les diré, si lo piensan, fue bastante rápido con las CNN, y era como ImageNet y esto no fue hace mucho tiempo.

Quizás hace tres, cuatro o cinco años logramos una visión sobrehumana con solo CNN básicas. En este momento estamos en una era en la que usamos transformadores, ¿verdad? Y transformador, transformadores de visión es la piedra angular de grandes modelos de lenguaje que se ven en cosas como ChatGPT.

Así que ahora estamos viendo la capacidad de hacer preguntas increíblemente complejas sobre imágenes y videos. Y lo hemos hecho, esta es una precisión de última generación, y la precisión sigue aumentando cuando preguntamos qué está sucediendo en este video. Y es resistente a cosas como, a la gente le preocupa si funciona, ahora realmente estamos construyendo modelos que son resistentes al ruido y a la oclusión. Algo pasa detrás de un árbol o detrás de una caja en una fábrica, los modelos pueden rastrearlo con una precisión increíble. También estamos viendo no sólo el concepto de lo que hay en este cuadro de video, sino también lo que sucede a lo largo del tiempo. ¿Alguien tropezó y cayó? ¿Es como bailar realmente mal o es violencia? Es decir, estas son preguntas tontas, pero son cosas realmente importantes que podemos descifrar y comprender con mucha mayor claridad. Y luego, el concepto de sensores múltiples en una matriz, poder tener esta vista alejada del piso de una fábrica, es realmente poderoso. Y eso nos lleva más allá de esta visión miope de que sólo puedo mirar un espacio de 10 por 10 pies cuadrados.

Ahora estoy viendo miles de pies cuadrados. En realidad, todo esto lo es, por lo que yo diría que el costo de las cámaras se ha reducido hasta el punto de que no son del todo gratuitas, pero tienen un costo más o menos muy bajo. Y nosotros los estamos aprovechando, el mundo los está aprovechando de una manera realmente emocionante.

Y nuevamente, es eficiente. En realidad, lo que estamos viendo son aspectos de eficiencia y seguridad pública que son el gran valor para esto. 

– [Ryan] Fantástico. Adán, muchas gracias por tomarte el tiempo. Para nuestra audiencia que quiere aprender más sobre lo que todos ustedes están sucediendo en torno a estos temas, haga un seguimiento potencialmente con preguntas, todo ese tipo de cosas buenas, ¿cuál es la mejor manera en que pueden hacerlo? 

– [Adam] Mira el trabajo que hemos realizado en nvidia.com/metropolis. El esfuerzo de Metropolis está reuniendo toda nuestra visión de soluciones de IA y nuestro ecosistema y celebrando el trabajo que se está realizando. La gente puede unirse al esfuerzo, unirse al movimiento, aprender sobre lo que hemos hecho y hacer preguntas a través de eso. Probablemente sea la mejor manera de hacerlo. 

– [Ryan] Bueno, Adam, muchas gracias de nuevo. Estoy emocionado de hacer llegar esto a nuestra audiencia. 

– [Adán] Excelente. Muchas gracias.

punto_img

Información más reciente

punto_img