A medida que los clientes se vuelven más impulsados ​​por los datos y los utilizan como fuente de ventaja competitiva, quieren ejecutar fácilmente análisis de sus datos para comprender mejor sus impulsores comerciales principales para aumentar las ventas, reducir costos y optimizar sus negocios. Para ejecutar análisis de sus datos operativos, los clientes suelen crear soluciones que son una combinación de una base de datos, un almacén de datos y un canal de extracción, transformación y carga (ETL). ETL es el proceso que utilizan los ingenieros de datos para combinar datos de diferentes fuentes.

A través de los comentarios de los clientes, aprendimos que se destina una gran cantidad de tiempo y recursos indiferenciados a la creación y gestión de canalizaciones ETL entre bases de datos transaccionales y almacenes de datos. En Servicios Web de Amazon (AWS), nuestro objetivo es facilitar a nuestros clientes la conexión y el uso de todos sus datos y hacerlo con la velocidad y agilidad que necesitan. Creemos que al automatizar las partes no diferenciadas, podemos ayudar a nuestros clientes a aumentar el ritmo de su innovación basada en datos al romper los silos de datos y simplificar la integración de datos.

Acercando los datos operativos a los flujos de trabajo analíticos

Los clientes quieren arquitecturas de datos flexibles que les permitan integrar datos en toda su organización para brindarles una mejor imagen de sus clientes, optimizar las operaciones y ayudar a los equipos a tomar decisiones mejores y más rápidas. Pero integrar datos no es fácil. Hoy en día, construir estos canales y ensamblar la arquitectura para interconectar todas las fuentes de datos y optimizar los resultados de los análisis es complejo, requiere recursos altamente capacitados y genera datos que pueden ser erróneos o, a menudo, inconsistentes.

Desplazamiento al rojo de Amazon impulsa las decisiones basadas en datos para decenas de miles de clientes todos los días con un almacén de datos en la nube totalmente administrado y impulsado por inteligencia artificial (IA) que ofrece la mejor relación precio-rendimiento para sus cargas de trabajo de análisis.

Zero-ETL es un conjunto de integraciones que elimina la necesidad de crear canales de datos ETL. Integraciones Zero-ETL con Amazon Redshift Permita a los clientes acceder a sus datos in situ mediante consultas federadas o incorporarlos en Amazon Redshift con una solución totalmente administrada desde todas sus bases de datos. Con funciones más nuevas, como la compatibilidad con copia automática que simplifica y automatiza la ingesta de archivos desde Servicio de almacenamiento simple de Amazon (Amazon S3), capacidades de Redshift Streaming Ingestion para ingerir continuamente cualquier cantidad de datos de transmisión directamente en el almacén y arquitecturas de intercambio de datos de múltiples clústeres que minimizan el movimiento de datos e incluso brindan acceso a datos de terceros, Amazon Redshift permite la integración de datos y el acceso rápido a los datos sin construcción de tuberías manuales.

Con todos los datos integrados y disponibles, Amazon Redshift permite a cada usuario de datos ejecutar análisis y crear aplicaciones de IA, aprendizaje automático (ML) y IA generativa. Los desarrolladores pueden ejecutar aplicaciones Apache Spark directamente en los datos de su almacén desde los servicios de análisis de AWS, como EMR de Amazon y Pegamento AWS. Pueden enriquecer sus conjuntos de datos uniendo datos operativos replicados a través de integraciones ETL cero con otras fuentes, como datos de ventas y marketing de aplicaciones SaaS, e incluso pueden crear Amazon QuickSight paneles de control además de estos datos para realizar un seguimiento de métricas clave en ventas, análisis de sitios web, operaciones y más, todo en un solo lugar.

Los clientes también pueden utilizar el uso compartido de datos de Amazon Redshift para compartir de forma segura estos datos con múltiples clústeres de consumidores utilizados por diferentes equipos, tanto dentro como entre cuentas de AWS, impulsando una visión unificada del negocio y facilitando el acceso de autoservicio a los datos de las aplicaciones dentro de los clústeres del equipo mientras se mantiene la gobernanza. sobre datos operativos sensibles.

Además, los clientes pueden crear modelos de aprendizaje automático directamente sobre sus datos operativos en Amazon Redshift ML (integración nativa en Amazon SageMaker) sin necesidad de crear canalizaciones de datos y utilizarlas para ejecutar miles de millones de predicciones con comandos SQL. O pueden crear transformaciones y agregaciones complejas en los datos integrados utilizando vistas materializadas de Amazon Redshift.

Nos complace compartir cuatro integraciones ETL cero de bases de datos de AWS con Amazon Redshift:

Al acercar diferentes servicios de bases de datos al análisis, AWS está optimizando el acceso a los datos y permitiendo a las empresas acelerar la innovación, crear ventajas competitivas y maximizar el valor comercial extraído de sus activos de datos.

Integración de ETL cero de Amazon Aurora con Amazon Redshift

La integración de Amazon Aurora zero-ETL con Amazon Redshift unifica datos transaccionales de Amazon Aurora con análisis casi en tiempo real en Amazon Redshift. Esto elimina la carga de crear y mantener canalizaciones ETL personalizadas entre los dos sistemas. A diferencia de las bases de datos tradicionales en silos que obligan a un equilibrio entre rendimiento y análisis, la integración de ETL cero replica datos de múltiples clústeres de Aurora en el mismo almacén de Amazon Redshift. Esto permite obtener información holística de todas las aplicaciones sin afectar las cargas de trabajo de producción. Todo el sistema puede funcionar sin servidor y escalarse automáticamente para manejar las fluctuaciones en el volumen de datos sin administración de infraestructura.

La integración zero-ETL de Amazon Aurora MySQL con Amazon Redshift procesa más de 1 millón de transacciones por minuto (un equivalente a 17.5 millones de operaciones de inserción/actualización/eliminación de filas por minuto) de múltiples bases de datos de Aurora y las pone a disposición en Amazon Redshift en menos de 15 segundos ( retraso de latencia p50). La Figura 1 muestra cómo funciona la integración zero-ETL de Aurora MySQL con Amazon Redshift a alto nivel.

Figura 1: Funcionamiento de alto nivel de la integración zero-ETL de Aurora MySQL con Amazon Redshift

En sus propias palabras, vea cómo uno de nuestros clientes utiliza la integración zero-ETL de Aurora MySQL con Amazon Redshift.

En la industria minorista, por ejemplo, Infosys quería obtener información más rápida sobre su negocio, como los productos más vendidos y las tiendas de altos ingresos, basándose en transacciones en un sistema de gestión de tiendas. Utilizaron la integración zero-ETL de Amazon Aurora MySQL con Amazon Redshift para lograrlo. Con esta integración, Infosys replicó los datos de Aurora en Amazon Redshift y creó paneles de control de Amazon QuickSight para gerentes de productos y líderes de canales en tan solo unos segundos, en lugar de varias horas. Ahora, como parte de los proyectos de Infosys Cobalt e Infosys Topaz, las empresas pueden tener análisis casi en tiempo real de datos transaccionales, lo que puede ayudarles a tomar decisiones informadas relacionadas con la gestión de tiendas.

– Sunil Senan, vicepresidente senior y director global de datos, análisis e inteligencia artificial, Infosys

Para aprender más, vea Documentos de Aurora, Documentos de desplazamiento al rojo de Amazon, y la Blog de noticias de AWS.

Amazon RDS para la integración de ETL cero de MySQL con Amazon Redshift

La nueva integración de Amazon RDS para MySQL con Amazon Redshift permite a los clientes realizar análisis fácilmente en sus RDS para MySQL datos. Con unos pocos clics, replica sin problemas los datos de RDS para MySQL en Amazon Redshift, manejando automáticamente las cargas de datos iniciales, la sincronización continua de cambios y la replicación de esquemas. Esto elimina la complejidad de los trabajos ETL tradicionales. La integración zero-ETL permite el aislamiento de la carga de trabajo para un rendimiento óptimo; RDS para MySQL se centra en transacciones de alta velocidad, mientras que Amazon Redshift maneja cargas de trabajo analíticas. Los clientes también pueden consolidar datos de múltiples fuentes en Amazon Redshift, como Aurora MySQL-Compatible Edition y Aurora PostgreSQL-Compatible Edition. Esta vista unificada proporciona información integral sobre las aplicaciones en un solo lugar, lo que genera importantes eficiencias operativas y de costos.

La Figura 2 muestra cómo un cliente puede utilizar AWS Management Console para Amazon RDS para comenzar a crear una integración ETL cero desde RDS para MySQL, edición compatible con Aurora MySQL y edición compatible con Aurora PostgreSQL en Amazon Redshift.

Figura 2: Cómo crear una integración ETL cero mediante Amazon RDS.

Esta integración se encuentra actualmente en versión preliminar pública, visite el consulte la guía de inicio para obtener más información.

Integración de ETL cero de Amazon DynamoDB con Amazon Redshift

La Amazon DynamoDB La integración de ETL cero con Amazon Redshift (versión preliminar limitada) proporciona una solución totalmente administrada para que los datos de DynamoDB estén disponibles para análisis en Amazon Redshift. Con una configuración mínima, los clientes pueden replicar datos de DynamoDB en Amazon Redshift para realizar análisis sin consumir el Unidades de capacidad de lectura (RCU) de DynamoDB. Esta integración ETL cero desbloquea poderosas capacidades de Amazon Redshift en datos de DynamoDB, como consultas SQL de alta velocidad, integraciones de aprendizaje automático, vistas materializadas para agregaciones rápidas e intercambio seguro de datos.

Esta integración se encuentra actualmente en versión preliminar limitada, use este enlace para solicitar acceso.

Los servicios integrados nos acercan al ETL cero

Nuestra misión es ayudar a los clientes a obtener el máximo valor de sus datos, y los servicios integrados son clave para ello. Es por eso que hoy estamos avanzando hacia un futuro sin ETL. Al automatizar procesos ETL complejos, los ingenieros de datos pueden redirigir su enfoque a la creación de valor a partir de los datos. Con este enfoque moderno de la gestión de datos, las organizaciones pueden acelerar el uso de los datos para optimizar las operaciones e impulsar el crecimiento empresarial.

Acerca del autor.

Jyoti Aggarwal es líder de gestión de productos para Amazon Redshift zero-ETL. Aporta experiencia en computación y almacenamiento en la nube, almacén de datos y experiencia del cliente B2B/B2C.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/big-data/announcing-zero-etl-integrations-with-aws-databases-and-amazon-redshift/