Los paradigmas de datos están cambiando. El concepto de almacén de datos como única solución para integrar fuentes de datos debe cuestionarse. Este enfoque está cada vez más en desacuerdo con las realidades de cómo se procesan y utilizan los datos en las empresas. En lugar de unas pocas fuentes de datos, puede haber 20, 30, 40 e incluso más. Armonizar y acceder a esos datos desde una sola fuente se está volviendo más complejo, costoso e ineficiente. Esto lleva a una pregunta fundamental: ¿La arquitectura de la tradición almacenamiento de datos convertirse en un obstáculo para lograr la visión de la empresa basada en datos? ¿Es una falacia que los almacenes de datos resuelvan todos los problemas de integración de datos empresariales?
Me parece un poco herético, un ingeniero que ha trabajado en el almacenamiento de datos durante prácticamente toda mi carrera, que estoy planteando esta pregunta. Mi respuesta es que no es una falacia. Se puede hacer, pero presenta muchos desafíos. Las organizaciones necesitan hacer sacrificios, y el resultado suele ser mejor en teoría que en la práctica. Existen desafíos técnicos y humanos para desarrollar un almacén de datos, y los desafíos humanos suelen ser mayores que los técnicos. El esfuerzo por cumplir con las expectativas comerciales puede resultar en que los proyectos de almacenamiento de datos cuesten 200 millones de dólares o más y tomando tanto como 24 meses para completar.
ENTRÉNATE PARA CONVERTIRTE EN UN PROFESIONAL CERTIFICADO EN GESTIÓN DE DATOS
Nuestro programa de capacitación en línea en la preparación de CDMP proporciona una base sólida de diferentes disciplinas de datos.
Dicho esto, las ventajas son significativas. Los almacenes de datos permiten a las organizaciones reunir conjuntos de datos masivos de muchas fuentes y sistemas dispares para su análisis por parte de la IA y permiten obtener información empresarial valiosa (y, a menudo, oculta). Por ejemplo, no fue hasta que uno de mis clientes empresariales creó un almacén de datos y correlacionó los datos de todos sus sistemas de origen que se dio cuenta de que, debido a un componente particular de su producto más vendido, estaban perdiendo dinero en cada venta. Una vez que esto salió a la luz, se ahorraron millones de dólares. Fantástico, pero beneficios como estos tienen un costo.
Para determinar la mejor estrategia de integración de datos, la forma más conveniente es trabajar hacia atrás desde el problema que está resolviendo. Determine la pregunta, luego decida y construya la arquitectura que responda a esa pregunta y respalde mejor las necesidades de datos de la organización.
Una cuestión de evaluación de riesgos
Los almacenes de datos son tanto un desafío para la organización como un desafío para desarrollar. Tardan meses, incluso años, en completarse y entregarse.
Mucho se construye sobre un almacén de datos para que sea útil para los negocios. El mayor sacrificio en este proceso es la agilidad a favor de la utopía de una versión de la verdad para toda la organización.
Se convierte en una cuestión de evaluación de riesgos; específicamente, cuánta tolerancia está dispuesta a absorber una organización. Las salvaguardas y los múltiples paradigmas de datos erosionan la capacidad de una organización para ser ágil con informes y autoservicio inteligencia empresarial aplicaciones Cuantas más protecciones y más lentas sean las estructuras de datos, más difícil será para ese tipo de herramientas encontrar la información que necesitan. Las empresas no pueden tener una inteligencia de negocios de autoservicio que sea exitosa si los datos tienen tres meses de antigüedad o requieren plazos de entrega significativos para agregar una transacción. Hay que tener un equilibrio.
Por definición, un almacén de datos es un sistema de almacenamiento de datos que conforma y homogeneiza múltiples fuentes de datos, pero no es tan simple. Es raro obtener los mismos datos de diferentes fuentes: armonizar y acceder a esos datos se está volviendo más complejo, ineficiente y costoso.
Los sistemas ERP son fundamentales para que los datos sean útiles y oportunos, pero diferentes sistemas ERP producen resultados muy diferentes. Los almacenes de datos no coinciden con la granularidad de esas transacciones porque no pueden hacerlo. Los datos consolidados en un almacén de datos no son algo malo, pero hay un costo de tiempo y utilidad. Las organizaciones deben elegir su paradigma de datos en función de la decisión de seleccionar lo que es más importante y valioso para su empresa: acceso rápido o una única fuente de verdad consolidada.
Casi siempre hay una armonización de los datos maestros en una jerarquía de informes, pero los datos siempre cambian a medida que se reúnen en un solo informe a través de múltiples sistemas de alimentación. En un almacén de datos, está diseñado para moverse hacia esa única fuente de verdad a cualquiera que sea el sistema de gestión de base de datos de elección de la organización; pero de nuevo, eso también está cambiando.
Los beneficios de una integración de datos más diversa
Las empresas están trasladando sus arquitecturas de datos a estructuras de datos heterogéneas, más flexibles y basadas en la nube. Parte de esto se relaciona con el resultado final de la empresa. Las empresas quieren salir del negocio del hardware. Están buscando invertir en modelos de suscripción más flexibles y basados en el consumo que les permitan pagar por los datos que usan, y no por los datos que necesitan almacenar en las instalaciones.
Las empresas se dan cuenta de que no existen sistemas ERP monolíticos que se ajusten a todos, e incluso si las organizaciones solo tienen uno, una adquisición, fusión u otra transformación casi con seguridad resultará en más. Cuando se trata de que los datos sean útiles para la toma de decisiones estratégicas, se trata de velocidad y accesibilidad. Y la realidad es que no es fácil penetrar y escribir informes contra los grandes sistemas ERP. Las empresas están gravitando hacia las mejores soluciones basadas en la nube, como Salesforce, Concur y Workday, que brindan información en solo días en lugar de semanas o meses.
Para obtener información estratégica, una combinación de fuentes y soluciones puede ser mejor que los beneficios que pueden obtener de un enorme almacén de datos o sistema ERP. Los informes pueden ser más rápidos y útiles. Si bien no elimina todos los riesgos si las fuentes de datos solo brindan el 70 % de las respuestas de datos, minimiza ese riesgo a un nivel aceptable.
Otro beneficio de una solución de integración de datos más diversa es el hecho de que cuanto más grande sea el almacén de datos, más difícil será administrarlo. También existe la pérdida de inversión al trasladar un gran almacén de datos a la nube. Si hay algo que hemos aprendido en los últimos 20 años en tecnología es esto: cambia más rápido que nosotros.
Las organizaciones pueden poner en marcha un base de datos en la nube hoy para hacer lo que quieran en solo minutos. Si funciona, se lo pueden quedar. Si no es así, pueden cerrarlo con la misma rapidez y perder solo el costo de un día. No hay necesidad de hardware costoso e inflexible. Todo el mundo se está dando cuenta de eso.
“Almacén de datos de la necesidad”
Entonces, ¿qué consideraría una mejor estrategia de integración de datos? Creo que es uno que involucra múltiples sistemas y fuentes que proporciona a las empresas las respuestas que quieren cuando las necesitan. Después de todo, ¿de qué sirve tener datos si no se pueden monetizar de alguna manera?
Algunos llaman a este concepto casa del lago de datos. Prefiero el término "almacén de datos de necesidad" porque la frase "lago de datos" enturbia el agua. Sugiere un paradigma de almacenamiento de datos y no una consideración caso por caso. Como sea que lo llamemos, funciona porque no hay una sola estructura unificadora, pero hay unificación donde se requiere la unificación. Es un almacén de datos en la nube que utiliza datos basados en la nube para activar bases de datos para necesidades específicas de los clientes, análisis y toma de decisiones en tiempo real sobre la marcha.
¿Es esa la última palabra en integración de datos? En mi experiencia, no existe una bala de plata, pero hay desarrollos emocionantes que suceden regularmente y con la nube, la inteligencia empresarial aumentada y el aprendizaje automático, resolver problemas de datos ahora es más divertido que nunca.
