Los conocimientos basados ​​en datos más impactantes provienen de conectar los puntos entre todas sus fuentes de datos, entre departamentos, servicios, herramientas locales y aplicaciones de terceros. Pero, por lo general, conectar datos requiere procesos complejos de extracción, transformación y carga (ETL), que demoran horas o días. Eso es demasiado lento para la velocidad de toma de decisiones. ETL debe ser más fácil y, en ocasiones, eliminado.

AWS está invirtiendo para abordar esto de varias maneras. Primero, para casos de uso comunes en los que ETL se repite con poco valor agregado, estamos integrando servicios para disminuir o eliminar la necesidad de ETL. En segundo lugar, las organizaciones todavía necesitan transformaciones como limpieza, deduplicación y combinación de conjuntos de datos para análisis y aprendizaje automático (ML). Para éstos, Pegamento AWS proporciona una transformación de datos rápida y escalable. En tercer lugar, AWS continúa agregando soporte para más fuentes de datos, incluidas conexiones a aplicaciones de software como servicio (SaaS), aplicaciones locales y otras nubes para que las organizaciones puedan actuar sobre sus datos.

En esta publicación, analizamos cómo estamos cumpliendo estas inversiones con una serie de innovaciones en integración de datos que abarcan bases de datos, análisis, inteligencia empresarial (BI) y servicios de aprendizaje automático de AWS.

La integración zero-ETL de Amazon Aurora MySQL con Amazon Redshift ya está disponible de forma generalizada

En junio de 2023, anunciamos el vista previa pública of Edición compatible con MySQL de Amazon Aurora Integración de ETL cero con Desplazamiento al rojo de Amazon. Estamos encantados de anunciar que esta integración ETL cero ya está disponible. generalmente disponible. La integración zero-ETL de Amazon Aurora MySQL con Amazon Redshift procesa más de 1 millón de transacciones por minuto, lo que permite análisis casi en tiempo real. A los pocos segundos de que ingresan nuevos datos a Amazon Aurora MySQL, los datos se replican en Amazon Redshift. Las actualizaciones en Amazon Aurora MySQL se propagan de forma automática y continua a Amazon Redshift. Los clientes y socios pueden obtener enormes ahorros de tiempo al reducir los cuellos de botella tradicionales de ETL. Ahora pueden analizar métricas comerciales casi en tiempo real y tomar decisiones basadas en datos más rápido que nunca.

En la industria minorista, por ejemplo, Infosys quería obtener información más rápida sobre su negocio, como los productos más vendidos y las tiendas de altos ingresos, basándose en transacciones en un sistema de gestión de tiendas. Utilizaron la integración zero-ETL de Amazon Aurora MySQL con Amazon Redshift para lograrlo. Con esta integración, Infosys replicó los datos de Aurora en Amazon Redshift y creó paneles de control de Amazon QuickSight para gerentes de productos y líderes de canales en tan solo unos segundos, en lugar de varias horas. Ahora, como parte de los proyectos de Infosys Cobalt e Infosys Topaz, las empresas pueden tener análisis casi en tiempo real de datos transaccionales, lo que puede ayudarles a tomar decisiones informadas relacionadas con la gestión de tiendas.

– Sunil Senan, vicepresidente senior y director global de datos, análisis e inteligencia artificial, Infosys

Integración de Amazon SageMaker Canvas con Amazon QuickSight

Estamos capacitando a los analistas de negocios para que creen paneles de control predictivos e interactivos conectando Lienzo de Amazon SageMaker, nuestro servicio de aprendizaje automático sin código, con Amazon QuickSight, nuestro servicio de BI. Los analistas de negocios utilizan SageMaker Canvas para crear modelos de aprendizaje automático y generar predicciones sin necesidad de escribir código. Luego pueden integrar perfectamente estas predicciones en QuickSight para crear paneles interactivos que se pueden compartir en toda su organización. Esto permite la democratización de los conocimientos predictivos para una mejor toma de decisiones.

Además, hemos habilitado una integración bidireccional profunda entre SageMaker Canvas y QuickSight. Los analistas de negocios pueden enviar modelos ML desde SageMaker Canvas a QuickSight y ejecute predicciones desde QuickSight. Los analistas ahora también pueden enviar datos directamente de QuickSight a SageMaker Canvas con solo unos pocos clics para crear rápidamente modelos de aprendizaje automático utilizando una interfaz simple de apuntar y hacer clic, sin necesidad de crear o mantener canales de datos complejos entre los dos servicios. Esta integración permite a los usuarios pasar de datos a predicciones y visualizaciones más rápido que nunca.

Conexión a aplicaciones SaaS

Los servicios de AWS ya se conectan a cientos de fuentes de datos de AWS y de terceros. Los ingenieros de datos pueden utilizar servicios como Flujo de aplicaciones de Amazon y Pegamento AWS para hacer que los datos sean rápidamente accesibles desde diversas fuentes. Esto permite a las organizaciones obtener conocimientos unificados a través de conjuntos de datos aislados. Recientemente agregamos nuevas integraciones de Amazon AppFlow y AWS Glue a nuestra cartera existente.

Amazon AppFlow ahora admite el procesamiento simultáneo de transferencias de datos desde aplicaciones SAP

Amazon AppFlow, un servicio de integración totalmente administrado que le ayuda a transferir datos de forma segura entre servicios de AWS y aplicaciones SaaS, ahora admite procesamiento simultáneo y tamaños de página configurables para transferencias de datos más rápidas desde SAP. Esto reduce el tiempo necesario para trasladar datos de SAP a datos de AWS y servicios de inteligencia artificial (IA).

La conectividad de Google BigQuery para AWS Glue para Apache Spark ya está disponible de forma generalizada

Se agregó AWS Glue para Apache Spark conectividad nativa a Google BigQuery, lo que permite leer y escribir datos de BigQuery directamente sin la necesidad de instalar o administrar bibliotecas. Ahora puede agregar BigQuery como origen o destino en la interfaz visual de AWS Glue Studio o directamente en un script ETL de AWS Glue.

Resumen

Las innovaciones en integración de datos que hemos destacado muestran nuestro compromiso de capacitar a las organizaciones para que conecten fácilmente sus datos. Ya sea para lograr conocimientos casi en tiempo real, democratizar el análisis predictivo o conectar diversas fuentes de datos, estamos enfocados en ayudarlo a obtener más valor de sus datos. Con las nuevas capacidades de Amazon Aurora MySQL, Amazon Redshift, SageMaker Canvas, QuickSight, Amazon AppFlow y AWS Glue, los ingenieros de datos y analistas de negocios pueden romper los silos de datos para descubrir información valiosa.

Visite Integración de datos con AWS para obtener más información.

Sobre los autores

Rahul Pathak es vicepresidente de motores de bases de datos relacionales y lidera Amazon Aurora, Amazon Redshift y Amazon QLDB. Antes de ocupar su puesto actual, fue vicepresidente de análisis en AWS, donde trabajó en toda la cartera de bases de datos de AWS. Ha cofundado dos empresas, una centrada en análisis de medios digitales y otra en geolocalización IP.

G2 Krishnamoorthy es vicepresidente de análisis, líder en servicios de lago de datos de AWS, integración de datos, Amazon OpenSearch Service y Amazon QuickSight. Antes de ocupar su puesto actual, G2 creó y ejecutó la plataforma Analytics y ML en Facebook/Meta, y creó varias partes de la base de datos de SQL Server, Azure Analytics y Azure ML en Microsoft.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/big-data/connect-your-data-for-faster-decisions-with-aws/