Incluso a medida que crecemos en nuestra capacidad para extraer información vital de big data, la comunidad científica aún enfrenta obstáculos que plantean importantes desafíos de minería de datos. En este artículo, discutiremos 10 problemas clave que enfrentamos en la minería de datos moderna y sus posibles soluciones.
1. Datos heterogéneos
Los datos pueden ser de baja calidad, adulterados e incompletos. Por eso, además de la complejidad de recopilar datos de diferentes almacenes de datos, los tipos de datos heterogéneos (HDT) son uno de los principales desafíos de la minería de datos. Esto se debe principalmente a que los grandes datos provienen de diferentes fuentes, pueden acumularse automáticamente o manualmente y pueden estar sujetos a varios controladores.
APRENDE LOS FUNDAMENTOS DE LA ARQUITECTURA DE DATOS
La arquitectura de datos proporciona la base de toda estrategia de datos exitosa: explore los elementos esenciales con nuestro programa de capacitación en línea.
Esto a menudo conduce a una alta redundancia y grados de datos falsificados. Un ejemplo muy común puede ser el de una encuesta de clientes, donde las personas pueden no enviar o enviar incorrectamente cierta información como la edad, la fecha de nacimiento o las direcciones de correo electrónico.
Solución: Hay dos aspectos en la solución de este problema. Primero, tomamos el enfoque tradicional y procesamos cada HDT individualmente según el proceso clásico de extracción de datos homogéneos y luego unimos los resultados. Alternativamente, combinamos el HDT durante la etapa de preprocesamiento y luego llevamos a cabo el proceso de extracción de datos, tratándolos como una sola entidad. Esto es, por supuesto, más simple que la primera opción.
En segundo lugar, también abordamos la solución desde el punto de vista comercial, donde los equipos de marketing y desarrollo se aseguran de que se recopile la mayor cantidad posible de datos precisos. Por ejemplo, las empresas deben asegurarse de que las preguntas de la encuesta sean más representativas del objetivo y los puntos de entrada de datos, como en el comercio minorista, tengan un método para validar los datos, como las direcciones de correo electrónico. De esta manera, cuando nos analizar el sentimiento a través de la minería de emociones, conducirá a resultados más precisos.
2. Datos dispersos
Uno de los desafíos más destacados de la minería de datos es recopilar datos de plataformas en numerosos entornos informáticos. El almacenamiento de grandes cantidades de datos en un solo servidor no es factible, razón por la cual los datos se almacenan en servidores locales. Este es el caso de la mayoría de las organizaciones a gran escala. De hecho, es algo a lo que nos enfrentamos mientras buscábamos datos para un proveedor internacional de atención médica para el análisis de sentimientos.
Los datos dispersos también pueden significar que los datos se almacenan en diferentes fuentes, como una herramienta de CRM o un archivo local en una computadora personal. Esta situación a menudo se presenta cuando una organización puede querer analizar datos de múltiples fuentes, como Hubspot, un archivo .csv y una base de datos de Oracle. Las empresas también están buscando formas más no tradicionales de cerrar las brechas que sus datos internos pueden no llenar mediante la recopilación de datos. de fuentes externas.
Solución: Necesitamos crear versiones distribuidas de algoritmos de minería de datos para que no tengamos que llevar todos los datos a un único repositorio centralizado como lo estamos haciendo ahora. También necesitamos los protocolos y lenguajes correctos para mapear estos datos dispersos. Por ahora, esto se puede lograr en gran medida con la ayuda de metadatos.
Se pueden usar archivos XML para almacenar metadatos en una representación para poder extraer bases de datos heterogéneas. El lenguaje de marcado predictivo (PMML) puede ayudar con el intercambio de modelos entre los diferentes sitios de almacenamiento de datos y, por lo tanto, respaldar la interoperabilidad, que a su vez puede respaldar la minería de datos distribuida.
3. Ética de datos
Los desafíos de la minería de datos implican en gran medida la cuestión de la ética en la recopilación de datos. Esto es diferente de la privacidad de datos. Por ejemplo, es posible que no haya un permiso expreso de la fuente original de los datos desde donde se recopilan, incluso si es en una plataforma pública como un canal de redes sociales o un comentario publico en un foro de revisión de consumidores en línea.
Por ejemplo, un sitio web de comercio electrónico puede acceder a la información personal de un consumidor, como la ubicación, la dirección, la edad, las preferencias de compra, etc., y usarla para el análisis de tendencias sin notificar al consumidor. La pregunta es si está bien o no extraer datos personales, incluso si tiene el propósito aparentemente sencillo de crear inteligencia empresarial.
Solución: Este es un problema de gobernanza, más que cualquier otra cosa, y uno de los principales desafíos de la minería de datos en un entorno ético de IA. Al igual que un sitio web informa al usuario que acepte o rechace las cookies, o requiere permiso para ejecutar ventanas emergentes, una empresa también debe informar al consumidor para qué puede usar sus datos. Esta es una responsabilidad que las empresas deben abordar para lograr una mayor transparencia con sus clientes.
4. Privacidad de datos
La privacidad de los datos es un problema grave que surge en la recopilación de datos, especialmente cuando se trata de la escucha y el análisis de las redes sociales. Las organizaciones de redes sociales están en el punto de mira aún más debido al fiasco de Cambridge Analytica/Facebook, que finalmente llevó a la primera a declararse en bancarrota y a la última a pagar una multa de $5 mil millones al gobierno de EE. UU. por violaciones de privacidad de datos.
Debido a este escrutinio continuo, muchas plataformas de redes sociales, incluidas Facebook, Snapchat e Instagram, han endurecido sus normas de privacidad de datos. Y esto ha demostrado plantear desafíos de minería de datos para el análisis del sentimiento social.
Solución: Esto nuevamente cae dentro del alcance de los principios de ética en la minería de datos. Las plataformas de redes sociales como se mencionó anteriormente, e incluso otras como Twitter o Amazon Reviews, deben ser transparentes sobre sus políticas de privacidad de datos. Otra forma importante de abordar este problema es regular las aplicaciones de terceros que pueden acceder a los datos a través del acceso directo al dispositivo digital de un usuario o indirectamente a través de una de las conexiones sociales del usuario. Y en tercer lugar, los científicos de datos deben seguir el protocolo adecuado cuando solicitan acceso a aplicaciones y plataformas de redes sociales, como Douyin, que tienen reglas de protección de datos muy estrictas y son de difícil acceso para fines de extracción de datos. En ningún momento una organización debe utilizar canales secundarios para acceder a dicha información restringida.
5. Seguridad de los datos
La seguridad de los datos es importante cuando se trata de desafíos de minería de datos. No solo se trata de un problema de si los datos provienen de una fuente ética o no, sino también de si están protegidos en sus servidores cuando los utiliza para la minería y la manipulación de datos. Los robos de datos a través de la filtración de datos de contraseñas, la manipulación de datos, el cifrado débil, la invisibilidad de los datos y la falta de control en los puntos finales son las causas de las principales amenazas a la seguridad de los datos. No sólo industrias, sino Los gobiernos son cada vez más estrictos. con las leyes de protección de datos también.
Solución: Al recopilar datos para el análisis, las empresas de minería de datos deben ofrecer a los clientes la opción de elegir entre un público/c
entorno ruidoso y una plataforma en las instalaciones que está segura detrás del firewall del cliente. En un frente organizacional, las empresas deben gobernar la privacidad de los datos a escala en lugar de buscar soluciones fragmentadas. Necesitan invertir en Software inteligente habilitado para IA que puede rastrear datos confidenciales y catalogarlos automáticamente para cumplir con las regulaciones de privacidad de datos.
Debe realizar un análisis de riesgo continuo de todos los datos confidenciales, así como de la información personal y las identidades de índice. Hacerlo puede hacer que el inventario de datos sea más coherente y hace que el acceso a los datos sea transparente para que pueda monitorear la actividad no autorizada. Con un mandato de privacidad muy unido como se establece, se vuelve más fácil emplear la protección de datos automatizada y el cumplimiento de la seguridad.
6. Complejidad de datos
Cuando se extraen datos para analizar el sentimiento de un caso de uso de la experiencia del cliente (CX), por ejemplo, generalmente se presentan en forma de una combinación muy heterogénea de tipos de datos que incluyen datos espaciales, videos generados por usuarios, videos de redes sociales, imágenes, memes, emojis, texto en lenguaje natural y demás.
La mayoría de las herramientas que ofrecen análisis CX no pueden analizar todos estos diferentes tipos de datos porque los algoritmos no están desarrollados para extraer información de dichos tipos de datos. En tal escenario, descuidan cualquier dato para el que no están programados, como emojis o videos, y los tratan como caracteres especiales. Este es uno de los principales desafíos de la minería de datos, especialmente en el análisis de escucha social.
Solución: Este problema se puede resolver si una plataforma tiene la capacidad de reconocer y extraer información del contenido que no es de texto de la misma manera que lo hace con los datos textuales. A través de la aplicación de análisis de contenido de vídeo, dichos datos se pueden extraer y procesar para seguridad y vigilancia, análisis de sentimientos, prestación de atención médica, investigación de mercado y muchas otras áreas.
7. Metodología
La metodología que utilice para la extracción y extracción de datos es muy importante porque afecta el rendimiento de la plataforma de extracción de datos. A veces, esto se convierte en una cuestión de elección personal, ya que los científicos de datos a menudo difieren en cuanto a lo que consideran el lenguaje correcto, ya sea R, Golang o Python, para obtener resultados de minería de datos perfectos. La forma en que esto se presenta en los desafíos de la minería de datos es cuando surgen diferentes situaciones comerciales, como cuando una empresa necesita escalar y tiene que apoyarse en gran medida en entornos virtualizados.
Solución: La solución aquí no radica en mirar cada lenguaje informático individualmente, sino en una imagen más amplia de para qué está destinada su plataforma de aprendizaje automático. Si está buscando un modelo creado para sitios web, Python funciona bien. Si busca datos y seguridad, debería preferirse Java por razones obvias. Una vez más, si busca velocidad, escalabilidad y entornos basados en la nube, Go le ofrece esta capacidad.
8. Contexto de datos
La información contextual asegura que la extracción de datos sea más efectiva y que los resultados sean más precisos. Sin embargo, la falta de conocimiento previo actúa como uno de los muchos desafíos comunes de minería de datos que dificultan la comprensión semántica.
Solución: Los metadatos pueden ayudar con esto en gran medida. Debido a que brinda información sobre otros datos, los metadatos ayudan en la extracción de datos y en la limpieza de los datos. También es debido a los resúmenes que proporciona que obtenemos más información contextual entre los datos detallados actuales y los datos altamente resumidos. Por ejemplo, le permite explorar terabytes de datos para saber quién es el cantante de una canción en particular o el autor de un trabajo de investigación. Es por eso que una organización debe prestar atención a la calidad de sus metadatos.
9. Visualización de datos
Los desafíos de la minería de datos abundan en la visualización real de la salida del procesamiento del lenguaje natural (NLP, por sus siglas en inglés). Incluso si uno superara todos los problemas antes mencionados en la minería de datos, aún existe la dificultad de expresar el resultado complejo de manera simplificada. Es importante tener en cuenta el hecho de que la mayoría de los usuarios finales no pertenecen a la comunidad técnica y esta es la razón principal por la que muchas herramientas de visualización de datos no dan en el blanco.
Solución: Se puede lograr una visualización de datos exitosa si nos aseguramos de que los datos de salida se proporcionen en forma de tablas, gráficos, códigos de colores u otras representaciones gráficas fácilmente comprensibles. Las nubes de palabras son un gran ejemplo de cómo los algoritmos complejos pueden mostrar los resultados de una consulta de una manera eficiente que un usuario no técnico en un departamento de marketing puede seguir.
10. Tiempo de respuesta
Por último, pero no menos importante, está la cuestión del tiempo de respuesta del modelo de predicción. La precisión y la exactitud son de suma importancia en un entorno comercial, pero también es necesario un tiempo de respuesta altamente eficiente. Piense en las bolsas de valores: en una industria en la que las decisiones comerciales de acciones en una fracción de segundo dependen en gran medida de predicciones y análisis de mercado casi en tiempo real, el tiempo de respuesta se vuelve absolutamente crítico.
Solución: Al planificar una solución de aprendizaje automático, los científicos de datos deben decidir los pros y los contras de dichos algoritmos teniendo en cuenta la aplicación empresarial para la que se está creando una solución. Algunos algoritmos son fáciles de construir, por ejemplo, los métodos de clasificación no paramétricos, como el algoritmo k-vecinos más cercanos (K-NN), que se usa comúnmente en clasificación y regresión. Sin embargo, no son eficientes en el tiempo al predecir las variables objetivo.
Por otro lado, otros algoritmos, como los métodos de aprendizaje supervisado no paramétrico que implican árboles de decisión (DT), requieren mucho tiempo de desarrollo, pero se pueden codificar en casi cualquier aplicación. Es por eso que la previsión y la planificación adecuada son muy importantes.
Conclusión
La minería de datos nos ha ayudado a dar sentido a los grandes datos de una manera que ha cambiado el curso de la forma en que funcionan las empresas y las industrias. Nos ha ayudado a avanzar mucho en la comprensión de la bioinformática, la predicción meteorológica numérica, la protección contra fraudes en bancos e instituciones financieras, y también nos ha permitido elegir una película favorita en un canal de transmisión de video. Debemos continuar desarrollando soluciones para los desafíos de la minería de datos para que construyamos soluciones de inteligencia artificial y aprendizaje automático más eficientes.
