Conexión de Amazon MSK es un servicio totalmente administrado para Apache Kafka Connect. Con unos pocos clics, MSK Connect le permite implementar conectores que mueven datos entre Apache Kafka y sistemas externos.

MSK Connect ahora admite la capacidad de eliminar configuraciones de trabajadores de MSK Connect, etiquetar recursos y administrar configuraciones de trabajadores y complementos personalizados mediante Formación en la nube de AWS. En conjunto, estas nuevas capacidades hacen que sea sencillo administrar sus recursos de MSK Connect y automatizar las implementaciones a través de canalizaciones de CI/CD.

MSK Connect facilita la transmisión de datos hacia y desde Apache Kafka a través de una conexión privada sin necesidad de experiencia en administración de infraestructura. Con unos pocos clics, puede implementar conectores como un Conector de fregadero Amazon S3 para cargar datos de streaming a Servicio de almacenamiento simple de Amazon (Amazon S3), implementar conectores desarrollados por terceros como debecio para transmitir registros de cambios desde bases de datos a Apache Kafka, o implementar su propio conector personalizado para su caso de uso.

MSK Connect integra sistemas externos o servicios de AWS con Apache Kafka copiando continuamente datos de transmisión desde una fuente de datos en su clúster de Apache Kafka, o copiando continuamente datos de su clúster de Apache Kafka en un receptor de datos. El conector también puede realizar tareas ligeras como transformación, conversión de formato o filtrado de datos antes de entregarlos a un destino. Puede utilizar un complemento para crear el conector; Estos complementos personalizados son recursos que contienen el código que define la lógica del conector.

Los componentes principales de MSK Connect son los trabajadores.. Cada trabajador es un proceso de máquina virtual Java (JVM) que ejecuta la lógica del conector según la configuración del trabajador proporcionada. Las configuraciones de trabajo son recursos que contienen las propiedades de configuración del conector que se pueden reutilizar en varios conectores. Cada trabajador se compone de un conjunto de tareas que copian los datos en paralelo.

Hoy anunciamos tres nuevas capacidades en MSK Connect:

• La capacidad de eliminar configuraciones de trabajadores.
• Soporte para etiquetas de recursos para habilitar la agrupación de recursos, la asignación de costos y la generación de informes, y el control de acceso con políticas basadas en etiquetas.
• Soporte en AWS CloudFormation para gestionar configuraciones de trabajadores y complementos personalizados

En las siguientes secciones, analizamos las nuevas funcionalidades con más detalle.

Eliminar configuraciones de trabajadores

Conectores para integrar Streaming administrado por Amazon para Apache Kafka (Amazon MSK) con otros servicios de AWS y de socios generalmente se crean mediante una configuración de trabajador (predeterminada o personalizada). Estas configuraciones pueden crecer con la creación y eliminación de conectores, lo que potencialmente crea problemas de administración de la configuración.

Ahora puede utilizar la nueva API de configuración de eliminación de trabajadores para eliminar configuraciones no utilizadas. El servicio comprueba que ningún conector esté utilizando la configuración del trabajador antes de eliminar la configuración. Además, ahora puede usar un filtro de prefijo para enumerar configuraciones de trabajadores y complementos personalizados usando el ListWorkerConfigurations y ListCustomPlugins Llamadas API. El filtro de prefijo le permite enumerar los recursos selectivos con nombres que comienzan con el prefijo para que pueda realizar eliminaciones selectivas rápidas.

Para probar la nueva API de eliminación, complete los siguientes pasos:

1. En la consola de Amazon MSK, cree una nueva configuración de trabajador.
2. Proporcione un nombre y una descripción opcional.
3. En Configuración del trabajador sección, ingrese su código de configuración.

Después de crear la configuración, un Borrar La opción está disponible en la página de detalles de la configuración (consulte la siguiente captura de pantalla) si la configuración no se utiliza en ningún conector.

Para admitir esta nueva API, una adicional workerConfigurationState Se ha agregado, para que pueda rastrear más fácilmente el estado de la configuración del trabajador. Este nuevo estado se devolverá en las respuestas de llamadas API para CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Elige Borrar para eliminar la configuración del trabajador.
5. En la ventana emergente de confirmación, ingrese el nombre de la configuración del trabajador, luego elija Borrar.

Si la configuración del trabajador se utiliza con cualquier conector, el Borrar La opción está deshabilitada, como se muestra en la siguiente captura de pantalla.

Etiquetas de recursos

MSK Connect ahora también admite etiquetas de recursos. Las etiquetas son metadatos de valores clave que se pueden asociar con recursos de servicios de AWS. Puede agregar etiquetas a conectores, complementos personalizados y configuraciones de trabajadores para organizar y encontrar recursos utilizados en los servicios de AWS. En las siguientes capturas de pantalla, nuestro conector, complemento y configuración de trabajador de MSK Connect de ejemplo se han etiquetado con la clave de etiqueta de recurso. project y valor demo-tags.

Ahora puedes etiquetar tu Nube informática elástica de Amazon (Amazon EC2) y recursos de Amazon S3 con el mismo nombre de proyecto, por ejemplo. Luego puede usar la etiqueta para buscar todos los recursos vinculados a este proyecto en particular para asignación de costos, informes, agrupación de recursos o control de acceso. MSK Connect admite agregar etiquetas al crear recursos, aplicar etiquetas a un recurso existente, eliminar etiquetas de un recurso y consultar etiquetas asociadas con un recurso.

Soporte de AWS CloudFormation

Anteriormente, solo podía aprovisionar un conector MSK Connect con AWS CloudFormation mediante una configuración de trabajador existente. Con esta nueva característica, ahora puede realizar operaciones CREAR, LEER, ACTUALIZAR, ELIMINAR y LISTAR en conectores, y crear y agregar nuevas configuraciones de trabajadores mediante AWS CloudFormation.

El siguiente código es un ejemplo de cómo crear una configuración de trabajador:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Los valores de retorno son los siguientes:

• ARN de la configuración de trabajador recién creada
• Estado de la nueva configuración del trabajador
• Hora de creación de la nueva configuración de trabajador.
• Última revisión de la nueva configuración de trabajadores.

Conclusión

MSK Connect es un servicio totalmente administrado que aprovisiona los recursos necesarios, monitorea el estado y la entrega de los conectores, mantiene el hardware subyacente y escala automáticamente los conectores para equilibrar las cargas de trabajo. En esta publicación, analizamos las nuevas características que se agregaron a MSK Connect, que agilizan la administración de trabajadores y conectores con la introducción de API para eliminar configuraciones de trabajadores, etiquetar recursos de MSK Connect y soporte en AWS CloudFormation para crear configuraciones de trabajadores no predeterminadas.

Estas capacidades están disponibles en todas las regiones de AWS donde Amazon MSK Connect está disponible. Para obtener una lista de disponibilidad regional, consulte Servicios de AWS por región. Para obtener más información sobre MSK Connect, visite el Guía para desarrolladores de Amazon MSK Connect.

Acerca de los autores

Chinmayi Narasimhadevara Es Arquitecto de Soluciones enfocado en Big Data y Analytics en Amazon Web Services. Chinmayi tiene más de 20 años de experiencia en tecnología de la información. Ayuda a los clientes de AWS a crear soluciones avanzadas, altamente escalables y de alto rendimiento.

Harita Pappu es gerente técnico de cuentas con sede en California. Tiene más de 18 años de experiencia trabajando en la creación y ampliación de aplicaciones de la industria del software. Le apasionan las nuevas tecnologías y se centra en ayudar a los clientes a lograr la optimización de costos y la excelencia operativa.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/