Logotipo de Zephyrnet

Simplifique la migración de datos con AWS DMS

Fecha:

Este artículo fue publicado como parte del Blogatón de ciencia de datos.

DMS de AWS
Fuente: https://towardsdatascience.com/using-aws-dms-to-tail-mongodb-978967aed8dd

Introducción

DMS es un servicio que facilita la migración de bases de datos locales a la nube con un tiempo de inactividad mínimo o nulo. Incluso puede modificar cambios en la base de datos original y aplicarlos a la nueva base de datos. DMS admite todas las bases de datos como MySQL, PostgreSQL Oracle, SQL Server, Microsoft SQL Server y Amazon Aurora. La ventaja es que las bases de datos originales y nuevas no tienen que coincidir. Por lo tanto, es fácil cambiar un tipo de base de datos a otro. DMS se encarga de todas las tareas de exportar los datos de la base de datos anterior e importarlos a la nueva base de datos en menos tiempo. Admite tareas de migración de datos como desarrollo, consolidación y prueba de bases de datos. Durante la migración, la base de datos de origen estará completamente operativa, lo que minimizará el tiempo de inactividad de las aplicaciones que dependen de la base de datos. Este artículo cubre una descripción general de DMS, cómo migra datos, su proceso y por qué se debe considerar DMS para la migración.

¿Qué es AWSDMS?

AWS Database Migration Service (AWS DMS) ayuda a migrar bases de datos a AWS rápidamente. Permite migraciones de varias bases de datos como bases de datos relacionales, no relacionales y otros tipos de bases de datos comerciales y de código abierto. Supervisa continuamente las bases de datos de origen y de destino además de la conectividad de red. Si surge alguna interrupción que detenga la tarea de replicación, DMS la rectifica automáticamente. Puede consolidar bases de datos dispares en un almacén de datos de varios petabytes mediante la transmisión de datos a AWS Redshift y Amazon S3.

¿Por qué considerar AWS DMS para la migración de datos?

  • Altamente resistente:
    DMS puede automatizar las instantáneas de copia de seguridad y restaurarlas muy rápidamente. Si el servidor de replicación principal falla, el servidor de replicación de respaldo se hará cargo; por lo tanto, no hay interrupción del servicio.

  • MinimoAl migrar bases de datos a través de DMS, la base de datos de origen estará completamente operativa, lo que minimizará el tiempo de inactividad de las aplicaciones que dependen de la base de datos. Por lo tanto, los usuarios pueden cambiar las bases de datos cuando sea necesario sin necesidad de cerrar.
  • Bajo costo :
    DMS proporciona un servicio de migración gratuito para mover bases de datos a Redshift, Aurora, DynamoDB o DocumentDB. Los usuarios deben pagar por migrar a otras bases de datos según el volumen de almacenamiento de registros.
  • Soporte completo de base de datos:
    DMS admite migraciones homogéneas como Oracle a Oracle y migraciones heterogéneas de plataformas Oracle a Aurora mediante la herramienta SCT. Es compatible con bases de datos comerciales y de código abierto que ayudan en la migración de bases de datos conveniente.
  • Soporte de conmutación por error:
    Los DMS se implementan en un entorno multi-AZ que ayuda en el soporte de conmutación por error y la fácil disponibilidad. En una implementación Multi-AZ, DMS mantiene y aprovisiona automáticamente una réplica en espera síncrona de la instancia de replicación en una zona de disponibilidad diferente.

Proceso de AWS DMS: cómo funciona

  • Conectar puntos finales:
    Primero, conecte DMS a los puntos finales de origen y de destino. El requisito principal para DMS es que los puntos de enlace de un usuario deben estar alojados en el servicio de AWS. Para realizar la migración, las credenciales del punto final deben conectarse correctamente a las bases de datos con los privilegios esenciales.
  • Programación de tareas:
    Ahora programe una tarea que se ejecute en el servidor para migrar los datos. DMS lee los datos de la base de datos de origen y los prepara para la base de datos de destino. La migración de carga completa se produce cuando los datos de origen se transfieren a la base de datos de destino.
  • Sincronizar bases de datos:
    Si se realiza algún cambio en la base de datos de origen, se almacena en caché en el servidor de replicación. Poco después de completar la migración de carga completa, estos cambios almacenados en caché se aplican a la base de datos de destino para mantener ambas bases de datos sincronizadas.

Tipos de bases de datos compatibles

base de datos mongo

Fuente: https://www.logicata.com/blog/aws-database-migration-service

Uso de AWS DMS con otros servicios de AWS. Es posible usar DMS con otros servicios de AWS, que incluyen lo siguiente:

  • Amazon EC2 y RDS:
    Los usuarios pueden utilizar instancias de base de datos Amazon EC2 o RDS como destino para la migración de datos. EC2 es la máquina virtual que representa un servidor físico que proporciona capacidad informática segura y escalable. RDS se refiere a un servicio de base de datos SQL que permite el acceso a archivos y bases de datos en cualquier lugar.
  • Herramienta de conversión de esquemas de AWS:
    La herramienta de conversión de esquemas de AWS o SCT convierte automáticamente el esquema de origen a un formato compatible para su base de datos de destino. Con SCT, los usuarios pueden migrar el esquema de la base de datos, incluidos los procedimientos almacenados, las vistas, las funciones, etc., a bases de datos de destino compatibles.
  • Amazonas S3:
    Para fines de almacenamiento o durante la migración de grandes cantidades de datos, Amazon S3 se puede utilizar en el paso intermedio. Los usuarios pueden configurar una Tarea de migración de base de datos, que transfiere datos específicos al depósito S3.
  • Formación en la nube de AWS:
    AWS CloudFormation puede configurar la implementación o la administración de la reestructuración de AWS. Con las plantillas de CloudFormation, los usuarios pueden crear, eliminar y modificar la pila completa (colección de recursos de AWS) como una sola unidad o pilas en varias cuentas y regiones de AWS sin administrar los recursos individualmente.

Componentes del servicio de migración de bases de datos de AWS

Hay principalmente tres componentes de DMS que incluyen:

  • Instancia de replicación
  • Puntos finales de origen y destino
  • Tareas de replicación

Instancia de replicación:

La instancia administrada Amazon EC2 (Elastic Compute Cloud) aloja uno o más trabajos de replicación. Se ocupa de cargas de trabajo con uso intensivo de cómputo, migraciones heterogéneas y replicaciones, como la migración de Oracle a PostgreSQL. Las instancias de replicación optimizadas para memoria como R4/R5 ayudan en bases de datos en memoria de tamaño mediano, análisis de big data en tiempo real y aplicaciones empresariales.

Puntos finales de origen y destino:

Los puntos finales vinculan las bases de datos de origen y de destino para ayudar en el transporte de datos. Todos los puntos finales necesitan información como el nombre del servidor, el número de puerto, el tipo de punto final, el tipo de motor, las credenciales, etc. Antes de usar los puntos finales para una tarea de migración de base de datos, los usuarios deben probar la conexión del punto final.

Tareas de replicación:

Es el paso final antes de comenzar una migración que transporta datos desde el punto final de origen al punto final de destino. Indica qué datos se transfieren entre los puntos finales de destino y de origen y cuándo se debe realizar la migración.

Use cases

Migración de base de datos homogénea:

DMS de AWS

Fuente: https://www.heptabit.com/blog/database-migration-to-aws-with-no-downtime

En esta migración, tanto el motor de la base de datos de origen como el de destino deben coincidir y ser interoperables. Los ejemplos son Microsoft SQL Server a Amazon RDS para SQL Server, Oracle a Amazon RDS para Oracle, MySQL a Amazon RDS para MySQL, MySQL a Amazon Aurora, etc.

Migración de bases de datos heterogéneas:

DMS de AWS

En esta migración, los motores de base de datos de origen y de destino no se complementan entre sí. Aquí se necesita un paso de transformación de código y esquema para abordar las diferencias en el código de la base de datos, los tipos de datos y la estructura del esquema entre las bases de datos de origen y de destino. Los ejemplos son migraciones de Oracle a PostgreSQL, de Oracle a Amazon Aurora, de Microsoft SQer a MySQL, etc.

Creación de un plan de migración:

DMS permite a los usuarios evaluar y realizar un seguimiento del progreso de las migraciones de sus bases de datos. El panel de DMS muestra el estado de la migración independientemente de las regiones en las que los usuarios muevan sus bases de datos. Puede detectar y resolver problemas derivados de la migración.

Replicación continua de datos:

DMS ayuda en la replicación de datos de forma continua con alta disponibilidad. A través de la replicación continua de datos, DMS ayuda a sincronizar las ubicaciones de los entornos de desarrollo y prueba y las ubicaciones de las instancias de recuperación ante desastres.

Conclusión

En última instancia, podemos concluir que AWS DMS es una gran herramienta que facilita la migración de cargas de trabajo de base de datos a AWS junto con la replicación continua de datos. Es fácil de configurar, confiable, admite una variedad de bases de datos y realiza un monitoreo constante de la conectividad de red de las bases de datos de destino.

Puntos clave:

  • AWS DMS ayuda a migrar bases de datos a AWS rápidamente y monitorea las bases de datos de origen y de destino.
  • Implementado en un entorno multi-AZ para una fácil disponibilidad.
  • La herramienta de conversión de esquemas de AWS o AWS SCT se puede utilizar con DMS para convertir automáticamente el esquema de origen a un formato compatible para su base de datos de destino.
  • Principalmente tres componentes: instancia de replicación, puntos finales de origen y destino y tareas de replicación.
  • Admite migraciones de bases de datos tanto homogéneas como heterogéneas.
  • Los puntos finales se refieren a los dos almacenes de datos, es decir, el origen y el destino.
  • DMS ayuda en la replicación de datos de forma continua y sincroniza las ubicaciones de los entornos de desarrollo y prueba.

Los medios que se muestran en este artículo no son propiedad de Analytics Vidhya y se utilizan a discreción del autor.

punto_img

Información más reciente

punto_img