La arquitectura de datos describe la infraestructura que conecta una Estrategia De Negocio y Estrategia de datos con ejecución técnica. Idealmente, la arquitectura de datos ocurre dentro de un marco sistemático, proporcionando una base para que las personas y los sistemas trabajen con datos.

Tres tipos de componentes subyacen a la infraestructura arquitectónica y se conectan para generar conocimientos, tomar decisiones basadas en datos y gestionar riesgos. Incluyen:

• Resultados: Modelos, definiciones y flujos de datos, representados en varios niveles, generalmente denominados "artefactos arquitectónicos".
• Algunas de las numerosas actividades incluyen: Las formas, despliegues y cumplimientos de las intenciones arquitectónicas.
• Comportamientos: Colaboraciones, mentalidades y habilidades que impactan los equipos de negocios, los roles y la arquitectura empresarial.

En la sección "Ejemplo de componentes de la arquitectura de datos" a continuación se encuentran ejemplos específicos de cada tipo de elemento de la arquitectura de datos.

Con la demanda de información procedente de la transmisión de datos, muchos Fundamentos de la arquitectura de datos enfrentar la necesidad de modernización, principalmente para respaldar las ventas, compras y inteligencia empresarial  (BI). A medida que estén disponibles nuevas tecnologías y formatos de datos y crezca la velocidad y la ingesta de datos, la arquitectura de datos seguirá evolucionando y cambiando en las organizaciones.

Arquitectura de datos definida

Otras definiciones de Arquitectura de Datos destacan su estructura en torno al flujo de datos, señalando que es un conjunto de normas, políticas y modelos que determinan qué tipo de datos se recopilan y cómo se utilizan, procesan y almacenan dentro de un sistema de base de datos. 

La Harvard Business Review destaca que la Arquitectura de Datos cubre cómo los datos pasan de la producción al consumo y todas las actividades de datos, incluidas aquellas intermedias, como la transformación o el almacenamiento.

Los requisitos de datos y la estandarización también juegan un papel central a la hora de identificar si algo es una arquitectura de datos. DAMA DMBOK establece que las especificaciones utilizadas para describir un estado existente, definir requisitos de datos, guiar la integración de datos y controlar los activos de datos como se establece en una estrategia de datos forman una arquitectura de datos. 

La expresión de la arquitectura de datos se basa en una vocabulario común describir los requisitos integrados, garantizar que los activos de datos se almacenen, organicen, gestionen y utilicen para respaldar la estrategia. Este vocabulario compartido garantiza que la arquitectura de datos produzca datos accesibles para sistemas y equipos en toda una organización.

Ejemplos de componentes de arquitectura de datos

Esta sección utiliza ejemplos para ampliar los tres componentes diferentes de la arquitectura de datos mencionados al principio de este artículo. 

Resultados: Como se mencionó anteriormente, los resultados de la arquitectura de datos consisten en modelos, definiciones y flujos de datos representados en varios niveles, generalmente llamados artefactos de arquitectura. Por ejemplo:

• El modelo de datos empresariales (EDM): La EDM conecta otros componentes de modelado para mostrar una vista de datos holística y consistente en toda la organización. A través del EDM modelos conceptuales Al mostrar los requisitos comerciales en modelos físicos, los planos técnicos muestran dónde deben integrarse los sistemas.
• Flujos de datos automatizados: Los flujos de datos automatizados representan cómo se mueven los datos en la organización y desempeñan un papel fundamental en la mejora de DataOps mediante la creación de un entrega predecible.
• El glosario empresarial: Un glosario empresarial define los componentes de los modelos de datos conceptuales y proporciona definiciones significativas relacionadas con los requisitos empresariales. Estos significados compartidos subyacen a las conversaciones entre TI y las empresas, lo que lleva al desarrollo de una infraestructura de datos acordada.

Actividades: Arquitectura de datos Las actividades forman, implementan y cumplen las intenciones de la arquitectura. Aquí hay una lista de algunas actividades más modernas utilizadas como ejemplos:

• Migración a la nube: Al migrar a la nube, las organizaciones pueden subcontratar recursos de computación, almacenamiento, seguridad, mantenimiento y gestión. Al liberar estos recursos, las organizaciones pueden tener más poder para calcular datos y ahorrar costos en el almacenamiento de datos para obtener información valiosa. En consecuencia, las empresas implementarán implementaciones en la nube para actualizar sus arquitecturas de datos de acuerdo con sus estrategias comerciales y de datos.
• Creando canalizaciones de datos: Las empresas crean canales para escalar datos y optimizar el movimiento de datos a través de la organización. Estos conectores transforman elementos de datos, conectados en serie, con la salida de datos de un elemento actuando como entrada para el siguiente. Las organizaciones planean actualizar sus arquitecturas de datos para incluir estos canales para mejorar la integración de datos en toda la empresa y mejorar el intercambio entre equipos.
• Configuración de aplicaciones en contenedores o Kubernetes: Aplicaciones en contenedores segmentar el código en algoritmos componentes que se pueden reutilizar en diferentes productos de datos. La arquitectura de datos, normalmente en la nube, utiliza la contenedorización para acelerar la transformación digital. creando valor implementando continuamente tecnologías a escala y haciendo que las operaciones comerciales sean más eficientes. 

Comportamientos: en resumen, los comportamientos comprenden colaboraciones, mentalidades y habilidades que afectan las divisiones comerciales y la arquitectura empresarial. Encuentre algunos ejemplos de comportamientos de la arquitectura de datos a continuación:

• Una mentalidad de calidad de datos (DQ): La arquitectura de datos depende de que las personas tengan una mentalidad de calidad de datos para obtener información excelente y precisa. Además, las buenas prácticas de DQ informan modelos y esquemas de arquitectura de datos precisos que conducen a un uso más eficaz y eficiente de la tecnología. Centrarse en la calidad de los datos fomenta mejores relaciones laborales comerciales y de TI, lo que mejora la arquitectura de los datos.
• Colaboraciones en materia de gobernanza de datos (DG): La colaboración de la DG armoniza y formaliza el acceso, la relación y la propiedad de los datos empresariales. Esta conexión entre la GD y la arquitectura de datos da como resultado un plan claro de dónde residen los datos, cómo utilizar la automatización y cómo configurar la accesibilidad por grupo.
• Habilidades de gestión de metadatos: Los metadatos forman contexto para definir conjuntos de datos y sus contextos. Las empresas deben gestionar los metadatos para distinguir claramente una entidad de datos de otra. 

La arquitectura de datos traduce los metadatos compartidos en modelos de datos. Las empresas y TI se comunican sobre metadatos y utilizan la automatización para crear, actualizar y mantener metadatos para alinearse con los modelos de datos de Data Architecture.

Patrones de arquitectura de datos

Las empresas eligen tecnologías basadas en patrones de arquitectura de datos comúnmente disponibles según sus estrategias. Estas formas se clasifican en dos tipos arquitectónicos: arquitecturas centralizadas y distribuidas. 

Arquitecturas de datos centralizadas: las arquitecturas de datos centralizadas organizan el almacenamiento de datos en un repositorio y tienen una vista de los datos comerciales en todas las funciones. Los patrones de arquitectura de datos para este tipo incluyen:

• Almacén de datos: A almacenamiento de datos comprende un repositorio único para toda la información y sigue siendo atractivo porque organiza la información en un esquema único para un acceso rápido.
• Mercado de datos: A data mart es un subconjunto de un almacén de datos diseñado para dar servicio a una línea de negocio o propósito específico.
• Lago de datos: Un lago de datos contiene vastos tipos de datos y estructuras que pueden ser ingeridos, almacenados, evaluados y analizados. Tiene una estructura indefinida.

Arquitecturas de datos distribuidos: Datos distribuidos Las arquitecturas conducen a una vista única pero utilizan múltiples plataformas y procesos para almacenar y calcular datos. A las empresas les gustan las arquitecturas de datos distribuidos por su flexibilidad, adherencia al dominio y capacidades de uso compartido. Las arquitecturas distribuidas generalmente contienen al menos uno o más de los siguientes diseños técnicos:

• Casa del lago de datos: La casa del lago de datos, una término acuñado por Databricks, combina las arquitecturas de datos de un lago de datos y un almacén de datos.
• Malla de datos: La malla de datos reconoce que las organizaciones tendrán múltiples almacenes y lagos de datos organizados por diferentes dominios y recomienda cuatro principios fundamentales ampliar la arquitectura de datos colaborativa.
• Tejido de datos: El tejido de datos combina algoritmos inteligentes y automatizados y unifica datos dispares entre sistemas, brindando acceso a datos empresariales integrados. Esta arquitectura de datos se escala sin esfuerzo a medida que las organizaciones crecen.
• Nube de datos: La nube de datos es un concepto más nuevo, según William McKnight, y su arquitectura de datos involucra múltiples socios y empresas globales que acceden a sus datos compartidos con unos pocos clics. Su patrón de arquitectura de datos se solidificará a medida que las empresas determinen cómo aprovechar mejor la IA generativa.

Casos de uso común

La arquitectura de datos cumple con muchos casos de uso y a continuación se proporcionan algunos ejemplos:

• Participar en DataOps: Participar en operaciones de datos monitorea y mejora flujo de datos empresariales, crea servicios comerciales y de datos predecibles y hace que los componentes de la arquitectura de datos existentes sean adaptables.
• Aumento de la calidad de los datos para aprovechar el aprendizaje automático (ML): El aprendizaje automático describe algoritmos que ajustan los resultados del análisis y la síntesis de nuevos patrones de entrada, lo que conduce a mejores conocimientos y soluciones. Las empresas mejoran la calidad de los datos con una buena arquitectura de datos, lo que genera mejores materiales de capacitación y recomendaciones de ML.
• Rompiendo silos de datos: Una gran empresa de servicios públicos de la costa oeste quería romper silos para una mejor integración. La arquitectura de datos se centró en los flujos de datos, el almacenamiento y la gobernanza/administración para lograr este objetivo.
• Implementación de un tejido de datos: Dominó implementado un tejido de datos para integrar y unificar datos distribuidos en varios tipos de datos y ubicaciones. Esto llevó a acceder a información valiosa en múltiples formatos de datos y servicios.

Roles y responsabilidades

Mientras que una el arquitecto de datos juega El papel más destacado en el desarrollo, actualización y mantenimiento de la arquitectura de datos de una organización, todos participan en la arquitectura de datos. Por ejemplo, un trabajador que bloquea un dispositivo de datos para impedir el acceso no autorizado hace que la infraestructura de datos sea menos riesgosa, lo que respalda la estrategia empresarial.

Cada persona se involucra con la Arquitectura de Datos de manera diferente, dependiendo de su puesto. A continuación se describen roles de ejemplo:

• Arquitectos de datos: El arquitecto de datos proporciona especificaciones, modelos y definiciones claros, conectando la empresa con sus datos. Este rol se ha ampliado, requiriendo comprensión empresarial a la hora de proponer una implementación técnica.
• Ingenieros de datos: Ingenieros de datos construir arquitectura de datos y mantener sistemas de datos. Es posible que realicen algunos procesos manuales, como ETL, para transformar conjuntos de datos para su uso por otros sistemas.
• Expertos en la materia (PYMES): PYME organizar, gestionar y entregar conjuntos de datos, mejorando la arquitectura existente. Las PYMES asesoran al arquitecto de datos sobre necesidades e implementaciones. Algunas PYMES pueden cambiar la arquitectura de datos a través de una aplicación, como una interfaz de arrastrar y soltar.
• Equipos legales: Arquitecturas de datos Debe cumplir con las regulaciones y sobre 65% de la población mundial en 2023 estará cubierta por leyes similares al RGPD europeo. Los abogados deben asesorar a las empresas sobre cómo cumplir con estas regulaciones dentro de las arquitecturas de datos existentes y actualizadas. 
• Jefes de proyecto: Un director de proyecto garantiza que los equipos desarrollen, implementen, mantengan y actualicen la arquitectura de datos según las especificaciones de los modelos de datos, los flujos de datos u otros resultados.

¿Por qué es importante la arquitectura de datos?

A buena arquitectura de datos evita que un usuario de datos dedique más tiempo a extraer y organizar datos que a analizarlos. La arquitectura de datos hace que las tecnologías y herramientas sean más valiosas para una organización a través de su estandarización.

Sus beneficios incluyen:

• Organizaciones preparadoras evolucionar rápidamente a través de un enfoque modular
• Facilitando  alineación de TI y sistemas empresariales
• Gestionar la entrega compleja de datos e información en toda la empresa.
• Proporcionar información sobre nuevas actividades comerciales
• Gestión de riesgos derivados de violaciones de seguridad

Imagen utilizada bajo licencia de Shutterstock.com

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://www.dataversity.net/what-is-data-architecture/