Imagen del autor
La ingeniería de datos se refiere al proceso de creación y mantenimiento de estructuras y sistemas que recopilan, almacenan y transforman datos en un formato que los científicos de datos, analistas y partes interesadas del negocio puedan analizar y utilizar fácilmente. Esta hoja de ruta lo guiará para dominar varios conceptos y herramientas, lo que le permitirá crear y ejecutar de manera efectiva diferentes tipos de canalizaciones de datos.
La contenedorización permite a los desarrolladores empaquetar sus aplicaciones y dependencias en contenedores livianos y portátiles que pueden ejecutarse de manera consistente en diferentes entornos. La infraestructura como código, por otro lado, es la práctica de gestionar y aprovisionar infraestructura a través de código, lo que permite a los desarrolladores definir, versionar y automatizar la infraestructura de la nube.
En el primer paso, conocerá los fundamentos de la sintaxis SQL, los contenedores Docker y la base de datos Postgres. Aprenderá cómo iniciar un servidor de base de datos usando Docker localmente, así como también cómo crear una canalización de datos en Docker. Además, desarrollará una comprensión de Google Cloud Provider (GCP) y Terraform. Terraform le resultará especialmente útil a la hora de implementar sus herramientas, bases de datos y marcos en la nube.
La orquestación del flujo de trabajo gestiona y automatiza el flujo de datos a través de varias etapas de procesamiento, como la ingesta, limpieza, transformación y análisis de datos. Es una forma más eficiente, confiable y escalable de hacer las cosas.
En el segundo paso, aprenderá sobre herramientas de orquestación de datos como Airflow, Mage o Prefect. Todos son de código abierto y vienen con múltiples funciones esenciales para observar, administrar, implementar y ejecutar la canalización de datos. Aprenderá a configurar Prefect usando Docker y crear una canalización ETL usando Postgres, Google Cloud Storage (GCS) y las API de BigQuery.
Primero eche un vistazo al sitio web de la página Cinco alternativas de flujo de aire para la orquestación de datos y elige el que mejor funcione para ti.
El almacenamiento de datos es el proceso de recopilar, almacenar y gestionar grandes cantidades de datos de diversas fuentes en un repositorio centralizado, lo que facilita el análisis y la extracción de información valiosa.
En el tercer paso, aprenderá todo sobre el almacén de datos de Postgres (local) o BigQuery (nube). Aprenderá sobre los conceptos de partición y agrupación en clústeres, y profundizará en las mejores prácticas de BigQuery. BigQuery también proporciona integración de aprendizaje automático donde puede entrenar modelos con datos de gran tamaño, ajuste de hiperparámetros, preprocesamiento de funciones e implementación de modelos. Es como SQL para el aprendizaje automático.
La ingeniería analítica es una disciplina especializada que se centra en el diseño, desarrollo y mantenimiento de modelos de datos y canales analíticos para equipos de inteligencia empresarial y ciencia de datos.
En el cuarto paso, aprenderá a crear una canalización analítica utilizando dbt (Herramienta de compilación de datos) con un almacén de datos existente, como BigQuery o PostgreSQL. Obtendrá una comprensión de conceptos clave como ETL vs ELT, así como el modelado de datos. También aprenderá funciones avanzadas de dbt, como modelos incrementales, etiquetas, ganchos e instantáneas.
Al final, aprenderá a utilizar herramientas de visualización como Google Data Studio y Metabase para crear paneles interactivos e informes analíticos de datos.
El procesamiento por lotes es una técnica de ingeniería de datos que implica procesar grandes volúmenes de datos en lotes (cada minuto, hora o incluso días), en lugar de procesar datos en tiempo real o casi en tiempo real.
En el quinto paso de su viaje de aprendizaje, se le presentará el procesamiento por lotes con Apache Spark. Aprenderá cómo instalarlo en varios sistemas operativos, trabajar con Spark SQL y DataFrames, preparar datos, realizar operaciones SQL y comprender los aspectos internos de Spark. Hacia el final de este paso, también aprenderá cómo iniciar instancias de Spark en la nube e integrarlas con el almacén de datos de BigQuery.
La transmisión se refiere a la recopilación, el procesamiento y el análisis de datos en tiempo real o casi en tiempo real. A diferencia del procesamiento por lotes tradicional, donde los datos se recopilan y procesan a intervalos regulares, el procesamiento de datos en streaming permite el análisis continuo de la información más actualizada.
En el sexto paso, aprenderá sobre la transmisión de datos con Apache Kafka. Comience con lo básico y luego sumérjase en la integración con Confluent Cloud y aplicaciones prácticas que involucran a productores y consumidores. Además, necesitará aprender sobre uniones de transmisiones, pruebas, ventanas y el uso de Kafka ksqldb & Connect.
Si desea explorar diferentes herramientas para diversos procesos de ingeniería de datos, puede consultar 14 herramientas esenciales de ingeniería de datos para usar en 2024.
En el paso final, utilizará todos los conceptos y herramientas que aprendió en los pasos anteriores para crear un proyecto integral de ingeniería de datos de un extremo a otro. Esto implicará construir una canalización para procesar los datos, almacenar los datos en un lago de datos, crear una canalización para transferir los datos procesados desde el lago de datos a un almacén de datos, transformar los datos en el almacén de datos y prepararlos para el panel. . Finalmente, creará un panel que presente visualmente los datos.
Todos los pasos mencionados en esta guía se pueden encontrar en el ZoomCamp de ingeniería de datos. Este ZoomCamp consta de varios módulos, cada uno de los cuales contiene tutoriales, vídeos, preguntas y proyectos para ayudarle a aprender y crear canales de datos.
En esta hoja de ruta de ingeniería de datos, hemos aprendido los diversos pasos necesarios para aprender, construir y ejecutar canales de datos para el procesamiento, análisis y modelado de datos. También hemos aprendido tanto sobre aplicaciones y herramientas en la nube como sobre herramientas locales. Puede optar por crear todo localmente o utilizar la nube para facilitar su uso. Recomendaría utilizar la nube, ya que la mayoría de las empresas la prefieren y quieren que adquiera experiencia en plataformas en la nube como GCP.
Abid Ali Awan (@ 1abidaliawan) es un científico de datos profesional certificado al que le encanta crear modelos de aprendizaje automático. Actualmente, se centra en la creación de contenidos y en la redacción de blogs técnicos sobre tecnologías de ciencia de datos y aprendizaje automático. Abid tiene una maestría en gestión de tecnología y una licenciatura en ingeniería de telecomunicaciones. Su visión es construir un producto de inteligencia artificial utilizando una red neuronal gráfica para estudiantes que luchan contra enfermedades mentales.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://www.kdnuggets.com/7-steps-to-mastering-data-engineering?utm_source=rss&utm_medium=rss&utm_campaign=7-steps-to-mastering-data-engineering
