El consultor de ThoughtWorks Zhamak Dehghani creó el concepto de malla de datos como un diseño de autoservicio orientado al dominio que luego evolucionó a un diseño de datos como producto. Al integrar y analizar datos de sistemas desconectados todos a la vez, la arquitectura de malla de datos beneficia a la organización al eliminar la necesidad de extraer datos de múltiples sistemas y preprocesarlos. 

En un tradicional arquitectura de datos, como un almacén de datos o un lago de datos, los datos se recopilan, almacenan, limpian y procesan en una sola ubicación para su posterior análisis. Sin embargo, en una malla de datos, los datos permanecen en sus respectivos dominios y los equipos de dominio utilizan los datos de su dominio para desarrollar productos de datos para sus propias necesidades, así como para vender esos productos a otros consumidores. 

En este escenario, los equipos de dominio poseen completamente sus infraestructuras de datos, canalizaciones de datos y productos de datos. Los equipos de dominios individuales completan sus tareas de procesamiento de datos dentro de la malla de datos, en la unidad centralizada que controla el almacenamiento y la computación back-end para cada dominio.

La malla de datos promueve datos distribuidos entre dominios, operaciones de autoservicio por parte del personal que no es de TI y control de datos centrado en el dominio. Los principios operativos de la malla de datos incluyen el control de datos centrado en el dominio, el acceso a datos de autoservicio, los datos como producto (DaaP) y la gobernanza estandarizada dentro del marco de la malla de datos. 

Además, según el autor cameron turner, el enfoque DaaP permite a los propietarios de dominios alejarse de los "lagos de datos centralizados" y vender directamente sus datos de dominio a otros dominios, creando así nuevas vías para la generación de ingresos.

¿Cuándo debe una organización usar una arquitectura de malla de datos? 

Si una empresa tiene necesidades repentinas de escalamiento que deben ejecutarse en un corto período de tiempo, entonces la malla de datos podría venir al rescate. Con fuentes de datos y consumidores de datos en constante crecimiento, un enfoque único y central para Administración de datos puede conducir a problemas de escalado inmanejables. 

En muchos casos, el control centralizado de los datos empresariales crea cuellos de botella no deseados. En un ecosistema de negocios donde los datos son lo primero, las empresas ahora necesitan pensar en plataformas de datos que apoyen orgánicamente la escalabilidad. 

La malla de datos promueve la gestión de datos distribuidos, que naturalmente se alinea con los patrones de creación de datos distribuidos en toda la organización. Como regla general, si su empresa está interesada en la migración a la nube, el desarrollo basado en dominios o los microservicios, ahora es un buen momento para considerar la implementación de la arquitectura de malla de datos.

Los beneficios de usar una malla de datos Arquitectura

Las arquitecturas de malla de datos pueden ayudar a las empresas a encontrar soluciones rápidas a los problemas del día a día, descubrir mejores formas de gestionar sus recursos y desarrollar modelos de negocio más ágiles. Aquí hay una revisión rápida de los beneficios de la arquitectura de malla de datos: 

• La arquitectura de malla de datos es adaptable, en el sentido de que puede adaptarse a los cambios a medida que la empresa escala, cambia y crece.
• La red de datos permite recopilar, integrar y analizar datos de sistemas dispares al mismo tiempo, lo que elimina la necesidad de extraer datos de sistemas dispares en una ubicación central para su posterior procesamiento.  
• Dentro de una malla de datos, el dominio individual se convierte en una miniempresa y adquiere el poder de autogestionar y servir en todos los aspectos de sus proyectos de ciencia de datos y procesamiento de datos.
• Una arquitectura de malla de datos permite a las empresas aumentar la eficiencia al eliminar el flujo de datos en una sola canalización, mientras protege el sistema a través de una infraestructura de monitoreo centralizada. 
• Los equipos de dominio pueden diseñar y desarrollar sus casos de uso operativos, analíticos y específicos de las necesidades mientras mantienen el control total de todos sus productos y servicios de datos. 
• La arquitectura de malla de datos ayuda a abordar Gobierno de datos cuellos de botella sin sacrificar la escala mediante la distribución juiciosa de los equipos de TI entre dominios con controles independientes sobre todas las actividades relacionadas con los datos. 
• La red de datos mantiene estándares de gobierno centralizados al hacer que los equipos de dominio cumplan con todos los estándares, políticas y regulaciones, al mismo tiempo que los recompensa con un acceso rápido a los datos, tiempos de respuesta rápidos y soluciones de datos personalizadas. 
• La malla de datos utiliza catálogos de datos para hacer que los productos y servicios de datos controlados por dominio sean detectables.  
• La infraestructura como plataforma (IaaP) presente dentro de la malla de datos ofrece un enfoque automatizado para la estandarización de datos y el monitoreo del ciclo de vida del producto de datos.

Malla de datos Desafíos de arquitectura

Esta sección simplemente aborda algunos desafíos técnicos y de implementación relacionados con la malla de datos, que requieren una mayor exploración:

• Adopción de malla de datos obliga a muchos cambios a los que los usuarios pueden resistirse, por lo que se requiere mucho apoyo organizativo para la implementación. Los ingenieros de datos deben mantenerse informados para que no trabajen en contra de los intereses de una malla de datos.
• La interoperabilidad entre diferentes sistemas de datos es un requisito previo para que funcione una malla de datos.
• Mientras se mantiene el control específico del dominio de las canalizaciones de datos, los dominios aún deben cumplir con todos los protocolos estandarizados de gobierno de datos.
• En una malla de datos, el acceso a los datos gira en torno a los permisos apropiados, por lo que sin los permisos adecuados, se puede denegar el acceso a los datos.
• Los catálogos de datos deben mantenerse actualizados para que los productos de datos permanezcan reconocibles.
• En una red de datos, es especialmente importante asegurarse de que haya un enfoque coherente para configurar la infraestructura de la nube, desarrollar estándares claros para los productos de datos y adherirse a los protocolos de gobierno estandarizados.
• La migración de almacenes de datos monolíticos y lagos de datos a una malla de datos requiere más que preparativos tecnológicos y logísticos: cambios culturales y de mentalidad, y el compromiso de adoptar un enfoque más multifuncional para el modelado de dominio empresarial.
• La gobernanza mínima compartida entre dominios puede plantear sus propios desafíos. 

Nota final

La arquitectura de malla de datos, si bien proporciona acceso directo a los datos de los dominios, conserva la flexibilidad de incorporar un almacén de datos o un lago de datos dentro de su marco si es necesario. En un entorno de malla de datos, los equipos comerciales y de TI colaboran para crear productos de datos o para proporcionar servicios DaaP a otros consumidores de datos en toda la organización.   

El proyecto mayores beneficiarios de una malla de datos son organizaciones con muchos dominios y sistemas desconectados. Los equipos de dominio generan y poseen datos específicos de dominio para sus necesidades diarias, pero también tienen la capacidad de crear sus propios productos de datos y venderlos (DaaP) a otros dominios u otros consumidores externos. 

La arquitectura de malla de datos, en lugar de depender de un equipo central de ingeniería de datos y un científico de datos para toda la operación de gestión de datos, propaga una distribución uniforme de los equipos de TI (datos) en las unidades organizativas. A pesar de los posibles desafíos, los equipos de dominio descentralizados y los equipos de TI tienen una excelente oportunidad de trabajar en estrecha colaboración para ofrecer productos y servicios de valor agregado.   

Imagen utilizada bajo licencia de Shutterstock.com

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
• Fuente: https://www.dataversity.net/data-mesh-architecture-benefits-and-challenges/