Esta publicación fue coescrita con Hardik Modi, AVP, Threat and Migitation Products en NETSCOUT.

NETSCOUT Horizonte de amenazas de Omnis es una plataforma global de concientización sobre seguridad cibernética que brinda a los usuarios una visibilidad altamente contextualizada de la actividad de amenazas "en el horizonte" en el panorama global DDoS (Distributed Denial of Service), amenazas que podrían estar afectando a su industria, sus clientes o sus proveedores. Permite a los visitantes crear perfiles personalizados y comprender la actividad DDoS que se observa casi en tiempo real a través de la plataforma de visibilidad ATLAS de NETSCOUT. Los usuarios pueden crear cuentas gratuitas para crear perfiles personalizados que conducen a una visualización basada en mapas (como en la siguiente captura de pantalla), así como a informes resumidos personalizados. Los ataques DDoS pueden afectar a los servicios prestados a través de Internet. La visibilidad de esta naturaleza es clave para cualquier persona que desee comprender lo que sucede en el panorama de amenazas. Omnis Threat Horizon ha estado disponible en general desde agosto de 2019.

Para brindar visibilidad continua a un bajo costo por usuario (para habilitar un servicio gratuito), el equipo de desarrollo de NETSCOUT eligió una serie de tecnologías de AWS para potenciar la recopilación, el almacenamiento, el análisis, la autenticación de usuarios y la entrega de la aplicación. En particular, eligieron Servicio Amazon OpenSearch como motor analítico central. Almacenan todos los registros de ataques procesados ​​en OpenSearch Service.

Esta publicación analiza los desafíos y los patrones de diseño que utilizó NETSCOUT en su camino para representar los detalles de aproximadamente 10 millones de ataques DDoS anuales casi en tiempo real.

Antecedentes

NETSCOUT, a través de su línea de productos Arbor, es un proveedor desde hace mucho tiempo de soluciones para la visibilidad de la red y la mitigación de DDoS para proveedores de servicios y empresas. Desde 2007, NETSCOUT ha operado un programa llamado ATLAS, en el que los clientes pueden optar por compartir datos anónimos sobre los ataques DDoS que observan en su red. A medida que este programa ha madurado, NETSCOUT tiene una visibilidad completa del panorama de los ataques DDoS, tanto del número como de la naturaleza de los ataques. Esta visibilidad informa y mejora sus productos, lo que les permite compartir los resultados del análisis en forma de documentos, publicaciones de blog y un informe de amenazas semestral. Desde que NETSCOUT comenzó a recopilar y analizar datos en su forma actual en septiembre de 2012, han observado 96 millones de ataques, lo que les permite realizar un análisis considerable de tendencias en regiones y verticales, así como comprender los vectores utilizados y los tamaños de los ataques.

Omnis Threat Horizon es una solución para mostrar esta información a un público más amplio, básicamente a cualquier persona interesada en el panorama de amenazas y, específicamente, en las tendencias de ataques DDoS en un momento dado. Además de proporcionar mapas en tiempo real, la solución permite al usuario retroceder en el tiempo para observar visualmente o de forma resumida lo que pudo haber estado sucediendo en un momento dado.

Querían asegurarse de que los elementos visuales y la aplicación respondieran globalmente, tanto en términos de representación de datos en tiempo real como de información histórica. Además, querían mantener el costo incremental por usuario lo más bajo posible, para poder brindar este servicio de forma gratuita a nivel mundial.

Resumen de la solución

El siguiente diagrama ilustra la arquitectura de la solución.

Uno de los objetivos detrás de la solución elegida era utilizar los servicios nativos de AWS en todas las instancias posibles. Además, eligieron dividir la funcionalidad de los componentes en sus propios microservicios y hacer un uso consistente de esto a través de la solución.

Los sensores de monitoreo individuales entregan datos a Servicio de almacenamiento simple de Amazon (Amazon S3) cada hora. A medida que se reciben nuevas entradas, Servicio de notificación simple de Amazon (Amazon SNS) se envían notificaciones, lo que da como resultado el procesamiento de los datos. Los microservicios sucesivos son responsables de:

• Parsing
• Ejecución de algoritmos para identificar y separar entradas espurias
• Deduplicación
• Scoring
• Confianza

Después de este procesamiento, cada ataque se representa como un documento separado en el dominio del servicio OpenSearch. Al momento de escribir esta publicación, NETSCOUT tiene aproximadamente 96 millones de ataques en el clúster, todos los cuales se pueden representar de alguna forma en los mapas e informes en Omnis Threat Horizon.

Los datos se organizan en archivos bin por hora y se envían a la aplicación a través de Amazon CloudFront.

Lecciones aprendidas relacionadas con Elasticsearch

En proyectos anteriores, NETSCOUT probó Apache Cassandra, una popular base de datos de código abierto NoSQL, y la consideró inadecuada para consultas de agregación. Mientras desarrollaban Horizon, eligieron Elasticsearch para obtener acceso a capacidades de consulta de agregación más potentes con un tiempo de desarrollo significativamente menor.

Comenzaron con una instancia autoadministrada, pero enfrentaron los siguientes problemas:

• Gasto considerable de horas-persona simplemente para gestionar la infraestructura
• Cada actualización de versión fue un proceso complicado, que requirió mucha planificación y aún presenta desafíos técnicos en el camino.
• Sin escalado automático y consultas de gran agregación podrían romper Elasticsearch

Después de algunos ciclos de potenciar esto, se trasladaron a OpenSearch Service para superar estos desafíos.

Resultado

NETSCOUT vio los siguientes beneficios de esta arquitectura:

• Procesamiento rápido de datos de ataque – El tiempo desde que se reciben los datos del ataque hasta que están disponibles en el almacén de datos es del orden de segundos, lo que les permite proporcionar una visibilidad casi en tiempo real de la solución.
• Menores gastos generales de gestión – El almacén de datos crece constantemente y, al usar un servicio administrado, los equipos evitan tener que realizar tareas relacionadas con la administración de clústeres. Este fue un gran problema con las soluciones anteriores adoptadas que involucraban la misma tecnología.
• Arquitectura escalable – Es posible agregar nuevas capacidades a la canalización a medida que surgen los requisitos, sin rediseñar otros componentes.

Conclusión

Con OpenSearch Service, NETSCOUT ha podido construir un almacén de datos resistente para los datos de ataque que capturan. Como resultado de las elecciones arquitectónicas realizadas y los servicios subyacentes de AWS, pueden proporcionar visibilidad de sus datos con pequeños costos incrementales, lo que les permite brindar una plataforma de visibilidad global sin costo para el usuario final.

Con la mayor experiencia, la nube más confiable, escalable y segura, y el conjunto de servicios y soluciones más completo, AWS es el mejor lugar para obtener valor de sus datos y convertirlo en conocimiento.

Acerca de los autores

Hardik Modi es AVP, Productos de Mitigación y Amenazas en NETSCOUT. En este cargo, supervisa los equipos responsables de los productos de mitigación, así como la creación de contenido de seguridad para los productos de NETSCOUT, lo que permite la mejor protección de su clase para los usuarios, así como la entrega y publicación continuas de investigaciones impactantes sobre DDoS e Intrusión. paisajes

Sujatha Kuppuraju es Arquitecto Principal de Soluciones en Amazon Web Services (AWS). Se relaciona con los clientes para crear soluciones innovadoras que aborden los problemas comerciales de los clientes y aceleren la adopción de los servicios de AWS.

mike arruda es gerente técnico sénior de cuentas en AWS, con sede en el área de Nueva Inglaterra. Trabaja con clientes empresariales de AWS, apoyando su éxito en la adopción de mejores prácticas y ayudándolos a lograr los resultados comerciales deseados con AWS.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/