Esta publicación está coescrita con Toney Thomas y Ben Vengerovsky de Bluestone.

En el mundo de las finanzas y los préstamos en constante evolución, la necesidad de datos centralizados, confiables y en tiempo real se ha vuelto primordial. Sulfato de cobre, una institución financiera líder, se embarcó en un viaje transformador para modernizar su infraestructura de datos y hacer la transición a una organización basada en datos. En esta publicación, exploramos cómo Bluestone utiliza los servicios de AWS, en particular el servicio de almacenamiento de datos en la nube. Desplazamiento al rojo de Amazon, para implementar una arquitectura de malla de datos de vanguardia, revolucionando la forma en que administran, acceden y utilizan sus activos de datos.

El desafío: el legado a la modernización

Bluestone operaba con una plataforma de préstamos heredada basada en SQL, como se ilustra en el siguiente diagrama. Para seguir siendo competitivos y receptivos a la dinámica cambiante del mercado, decidieron modernizar su infraestructura. Esta modernización implicó la transición a plataformas de préstamos centrales y de originación de préstamos basadas en software como servicio (SaaS). Debido a que estos nuevos sistemas produjeron grandes cantidades de datos, surgió el desafío de garantizar una única fuente de verdad para todos los consumidores de datos.

Nacimiento de la plataforma de datos Bluestone

Para abordar la necesidad de datos centralizados, escalables y gobernables, Bluestone presentó la plataforma de datos Bluestone. Esta plataforma se convirtió en el centro de todas las actividades relacionadas con los datos en toda la organización. AWS desempeñó un papel fundamental a la hora de hacer realidad esta visión.

Los siguientes son los componentes clave de Bluestone Data Platform:

• Arquitectura de malla de datos – Bluestone adoptó una arquitectura de malla de datos, un paradigma que distribuye la propiedad de los datos entre diferentes unidades de negocio. Cada productor de datos dentro de la organización tiene su propio lago de datos en formato Apache Hudi, asegurando la soberanía y autonomía de los datos.
• Arquitectura de almacén de datos y lago de datos de cuatro capas – La arquitectura consta de cuatro capas, incluida la capa analítica, que alberga hechos específicos y conjuntos de datos de dimensiones alojados en Amazon Redshift. Estos conjuntos de datos son fundamentales para los casos de uso de informes y análisis, impulsados ​​por servicios como Amazon Redshift y herramientas como Power BI.
• Análisis de aprendizaje automático – Varias unidades de negocio, como Servicios, Préstamos, Ventas y Marketing, Finanzas y Riesgo Crediticio, utilizan análisis de aprendizaje automático, que se ejecutan sobre el modelo dimensional dentro del lago de datos y el almacén de datos. Esto permite la toma de decisiones basada en datos en toda la organización.
• Gobernanza y autoservicio – La plataforma de datos Bluestone proporciona una vía gobernada, seleccionada y de autoservicio para todos los casos de uso de datos. Servicios de AWS como Formación del lago AWS junto con Atlan ayudar a regular el acceso a los datos y las políticas.
• Marco de calidad de datos – Para garantizar la confiabilidad de los datos, implementaron un marco de calidad de los datos. Evalúa continuamente la calidad de los datos y sincroniza los puntajes de calidad con la herramienta de gobernanza Atlan, infundiendo confianza en los activos de datos dentro de la plataforma.

El siguiente diagrama ilustra la arquitectura de su plataforma de datos actualizada.

AWS y servicios de terceros

AWS desempeñó un papel fundamental y multifacético a la hora de hacer prosperar la plataforma de datos de Bluestone. Los siguientes servicios de AWS y de terceros fueron fundamentales para dar forma al camino de Bluestone hacia convertirse en una organización basada en datos:

• Desplazamiento al rojo de Amazon – Bluestone aprovechó el poder de Amazon Redshift y sus características como compartir datos para crear un depósito centralizado de activos de datos. Este movimiento estratégico facilitó el intercambio fluido de datos y la colaboración entre diversas unidades de negocio, allanando el camino para una toma de decisiones más informada y basada en datos.
• Formación del lago – Lake Formation surgió como una piedra angular en la estrategia de gobernanza de datos de Bluestone. Desempeñó un papel fundamental en la aplicación de controles de acceso a datos y la implementación de políticas de datos. Con Lake Formation, Bluestone logró la protección de datos confidenciales y el cumplimiento de los requisitos reglamentarios.
• Supervisión de la calidad de los datos – Para mantener la confiabilidad y precisión de los datos, Bluestone implementó un marco sólido de calidad de datos. Los servicios de AWS fueron esenciales en este esfuerzo porque complementaron las herramientas de código abierto para establecer un sistema interno de monitoreo de la calidad de los datos. Este sistema evalúa continuamente la calidad de los datos, brindando confianza en la confiabilidad de los activos de datos de la organización.
• Herramientas de gobernanza de datos – Bluestone eligió Atlan, disponible a través de AWS Marketplace, para implementar herramientas integrales de gobernanza de datos. Este servicio SaaS jugó un papel fundamental en la incorporación de múltiples equipos comerciales y el fomento de una cultura centrada en los datos dentro de Bluestone. Permitió a los equipos gestionar y gobernar eficientemente los activos de datos.
• Orquestación mediante Amazon MWAA – Bluestone depende en gran medida Flujos de trabajo administrados por Amazon para Apache Airflow (Amazon MWAA) para gestionar las orquestaciones del flujo de trabajo de manera eficiente. Este marco de orquestación se integró perfectamente con varias reglas de calidad de datos, que se evaluaron utilizando Grandes expectativas operadores dentro del entorno Airflow.
• DMS de AWS – Piedra azul usada Servicio de migración de bases de datos de AWS (AWS DMS) para agilizar la consolidación de datos heredados en la plataforma de datos. Este servicio facilitó la transferencia fluida de datos desde los almacenes heredados de SQL Server al lago de datos y al almacén de datos, proporcionando continuidad y accesibilidad a los datos.
• Pegamento AWS – Bluestone utilizó el Pegamento AWS Entorno PySpark para implementar procesos de extracción, transformación y carga de datos (ETL). Desempeñó un papel fundamental en el procesamiento de datos provenientes de varios sistemas fuente, proporcionando coherencia e idoneidad para el uso analítico.
• Catálogo de datos de AWS Glue – Bluestone centralizó su gestión de datos utilizando el Catálogo de datos de AWS Glue. Este catálogo sirvió como columna vertebral para la gestión de activos de datos dentro del patrimonio de datos de Bluestone, mejorando la capacidad de descubrimiento y accesibilidad de los datos.
• Seguimiento de la nube de AWS – Piedra azul implementada Seguimiento de la nube de AWS monitorear y auditar rigurosamente las actividades de la plataforma. Este servicio centrado en la seguridad proporcionó visibilidad esencial de las acciones de la plataforma, brindando cumplimiento y seguridad en las operaciones de datos.

El conjunto integral de servicios de AWS ha sido fundamental para impulsar la plataforma de datos Bluestone hacia el éxito impulsado por los datos. Estos servicios no solo han permitido una gobernanza de datos, un control de calidad y una orquestación eficientes, sino que también han fomentado una cultura centrada en los datos dentro de la organización, lo que en última instancia conduce a una mejor toma de decisiones y una ventaja competitiva. El viaje de Bluestone muestra el poder de AWS para transformar a las organizaciones en líderes basados ​​en datos en sus respectivas industrias.

Arquitectura de datos de piedra azul

La arquitectura de datos de Bluestone ha experimentado una transformación dinámica, pasando de un marco de casa en el lago a una arquitectura de malla de datos. Esta evolución fue impulsada por la necesidad de la organización de productos de datos con propiedad distribuida y la necesidad de un mecanismo centralizado para gobernar y acceder a estos productos de datos en varias unidades de negocios.

El siguiente diagrama ilustra la arquitectura de la solución y su uso de AWS y servicios de terceros.

Profundicemos en cómo se ha desarrollado este cambio de arquitectura y lo que implica:

• La necesidad de cambio – El catalizador de esta transformación fue la creciente demanda de productos de datos discretos adaptados a los requisitos únicos de cada unidad de negocio dentro de Bluestone. Debido a que estas unidades de negocios generaron sus propios activos de datos en sus respectivos dominios, el desafío residía en administrar, gobernar y acceder de manera eficiente a estos diversos almacenes de datos. Bluestone reconoció la necesidad de un enfoque más estructurado y escalable.
• Productos de datos con propiedad distribuida – En respuesta a esta demanda, Bluestone adoptó una arquitectura de malla de datos, que permitió la creación de distintos productos de datos alineados con las necesidades de cada unidad de negocio. Cada uno de estos productos de datos existe de forma independiente, generando y seleccionando activos de datos específicos de su dominio. Estos productos de datos sirven como centros de datos individuales, lo que garantiza la autonomía y la especialización de los datos.
• Integración centralizada del catálogo – Para agilizar el descubrimiento y la accesibilidad de los activos de datos que se encuentran dispersos en estos productos de datos, Bluestone introdujo un catálogo centralizado. Este catálogo actúa como un depósito unificado donde todos los productos de datos registran sus respectivos activos de datos. Sirve como un componente crítico para el descubrimiento y la gestión de datos.
• Integración de herramientas de gobierno de datos – Otra consideración fundamental fue garantizar la gobernanza de los datos y el seguimiento del linaje en toda la organización. Bluestone implementó una sólida herramienta de gobierno de datos que se conecta al catálogo centralizado. Esta integración garantiza que el linaje general de activos de datos se mapee y capture de manera integral. De este modo, los procesos de gobernanza de datos se aplican de forma coherente, garantizando la calidad y el cumplimiento de los datos.
• Uso compartido de datos de Amazon Redshift para control y acceso – Para facilitar el acceso controlado y seguro a los activos de datos que residen en instancias de Redshift de productos de datos individuales, Bluestone utilizó el intercambio de datos de Amazon Redshift. Esta capacidad permite que los activos de datos se expongan y compartan de forma selectiva, lo que proporciona un control granular sobre el acceso y al mismo tiempo mantiene la seguridad e integridad de los datos.

En esencia, el viaje de Bluestone desde una casa en el lago a una arquitectura de malla de datos representa un cambio estratégico en la gestión y gobernanza de datos. Esta transformación permite a diferentes unidades de negocio operar de forma autónoma dentro de sus dominios de datos, al tiempo que garantiza el control, la gobernanza y la accesibilidad centralizados. La integración de un catálogo centralizado y herramientas de gobernanza de datos, junto con la flexibilidad del intercambio de datos de Amazon Redshift, crea un ecosistema armonioso donde prospera la toma de decisiones basada en datos, lo que en última instancia contribuye al éxito de Bluestone en el panorama financiero en constante evolución.

Conclusión

El viaje de Bluestone desde un sistema heredado basado en SQL a una arquitectura de malla de datos moderna en AWS ha mejorado la forma en que la organización interactúa con los datos y la ha posicionado como una potencia basada en datos en la industria financiera. Al adoptar los servicios de AWS, Bluestone ha logrado con éxito una plataforma de datos centralizada, escalable y gobernable que permite a sus equipos tomar decisiones informadas, impulsar la innovación y mantenerse a la vanguardia en el panorama competitivo. Esta transformación sirve como prueba convincente de que las capacidades de intercambio de datos de Amazon Redshift y AWS Cloud son un excelente camino para las organizaciones que buscan embarcarse en sus propios viajes basados ​​en datos con AWS.

Acerca de los autores

Toni Thomas es arquitecto de datos y líder de ingeniería de datos en Bluestone, reconocido por su papel en la concepción y acuñación de la estrategia de datos pionera de la empresa. Con un enfoque estratégico en aprovechar el poder de la tecnología avanzada para abordar desafíos comerciales complejos, Toney lidera un equipo dinámico de ingenieros de datos, ingenieros de informes, especialistas en control de calidad y analistas comerciales en Bluestone. Su liderazgo se extiende a impulsar la implementación de marcos sólidos de gobernanza de datos en diversas unidades organizativas. Bajo su dirección, Bluestone ha logrado un éxito notable, incluida la implementación de plataformas innovadoras, como un sistema de datos empresariales de malla de datos totalmente gobernado con mecanismos de calidad de datos integrados, alineándose perfectamente con el compromiso de la organización con la democratización y la excelencia de los datos.

Ben Vengerovsky es gerente de productos de plataforma de datos en Bluestone. Le apasiona utilizar la tecnología en la nube para revolucionar la infraestructura de datos de la empresa. Con experiencia en préstamos hipotecarios y un profundo conocimiento de los servicios de AWS, Ben se especializa en diseñar soluciones de datos escalables y eficientes que impulsan el crecimiento empresarial y mejoran las experiencias de los clientes. Le encanta colaborar con equipos multifuncionales para traducir los requisitos comerciales en soluciones técnicas innovadoras que potencien la toma de decisiones basada en datos.

Rada Stanic es jefa de tecnología en Amazon Web Services, donde ayuda a los clientes de ANZ en diferentes segmentos a resolver sus problemas comerciales utilizando las tecnologías de la nube de AWS. Sus áreas especiales de interés son el análisis de datos, el aprendizaje automático/IA y la modernización de aplicaciones.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/big-data/empowering-data-driven-excellence-how-the-bluestone-data-platform-embraced-data-mesh-for-success/