Uno de los desafíos actuales más importantes para las empresas que desarrollan IA es la integración de grandes cantidades de datos empresariales dentro de sus modelos de IA.

Estos datos son el alma de muchas aplicaciones de IA, pero su gestión puede ser un proceso complejo y que requiere mucho tiempo. Snorkel Flow, una actualización reciente de la plataforma Snorkel AI, tiene como objetivo agilizar este proceso para las empresas que buscan aprovechar llamas 3, un poderoso modelo de IA de Meta AI, y IA Géminis, otro modelo avanzado de IA de Google.

¿Por qué es crucial la gestión de datos empresariales?

Los datos empresariales abarcan una amplia gama de información recopilada por las empresas durante sus operaciones diarias. Esto puede incluir datos de clientes, registros financieros, resultados de campañas de marketing, datos de sensores de maquinaria y mucho más. La gestión eficaz de estos datos es crucial por varias razones.

En primer lugar, permite a las empresas identificar tendencias y patrones que de otro modo podrían pasarse por alto. Por ejemplo, al analizar el historial de compras de los clientes, una empresa puede descubrir qué productos se compran juntos con frecuencia, lo que les permite personalizar las promociones y las estrategias de colocación de productos.

En segundo lugar, los datos empresariales se pueden utilizar para mejorar la toma de decisiones. Por ejemplo, una institución financiera podría analizar datos históricos de préstamos para desarrollar modelos de evaluación de riesgos más precisos. Por último, los datos empresariales son esenciales para entrenar modelos de IA. Estos modelos requieren cantidades masivas de datos etiquetados para aprender y realizar tareas de manera efectiva.

Sin embargo, gestionar estos datos puede ser un desafío importante. Los datos empresariales a menudo residen en varios formatos y ubicaciones, lo que dificulta su acceso e integración. El proceso de etiquetar datos para el entrenamiento de IA también puede resultar costoso y llevar mucho tiempo.

Aquí es donde Flujo de snorkel entra en juego.

Domar la avalancha de datos

Snorkel Flow es una actualización de la plataforma Snorkel AI diseñada para simplificar la integración de datos empresariales con modelos de IA, particularmente Llama 3 y Gemini AI. Snorkel utiliza una técnica llamada etiquetado débil, que permite a los usuarios aprovechar datos sin etiquetar con fines de capacitación. Esto se logra definiendo heurísticas o “funciones de etiquetado” que pueden asignar automáticamente etiquetas a puntos de datos según criterios específicos.

Por ejemplo, imagine una empresa que quiere entrenar un modelo de inteligencia artificial para identificar tickets de atención al cliente que requieren atención urgente. Se podría crear una función de etiquetado para identificar tickets que contengan palabras clave o frases específicas, como "urgente" o "crítico". Si bien es posible que estas etiquetas no sean perfectas, aún pueden ser valiosas para entrenar el modelo de IA.

Snorkel Flow se basa en este concepto al introducir un flujo de trabajo optimizado para gestionar el proceso de etiquetado de datos. Permite a los usuarios definir funciones de etiquetado, administrar fuentes de datos y monitorear la calidad de las etiquetas generadas. Esto puede reducir significativamente el tiempo y los recursos necesarios para preparar los datos empresariales para la capacitación en IA.

Integraciones ampliadas de fuentes de datos y LLM

En un del blog, Snorkel AI explicó en detalle las innovaciones que aportaron a Snorkel Flow. Estas son las características del renovado Snorkel Flow:

• Integraciones de LLM: Snorkel Flow ahora admite el ajuste fino no solo de los modelos establecidos sino también de la familia Gemini de Google y Llama 3 de Meta. Esto amplía las opciones para que las empresas elijan el LLM que mejor se adapte a sus necesidades.
• Integraciones de fuentes de datos: Las nuevas integraciones con Databricks Unity Catalog, Vertex AI y Microsoft Azure Machine Learning agilizan el acceso a datos para fines de etiquetado, curación y desarrollo. Las empresas pueden aprovechar su infraestructura de datos existente dentro de Snorkel Flow.

Soporte de datos multimodal (Beta)

• Procesamiento de imágenes: Snorkel Flow presenta funciones de etiquetado programático para imágenes (actualmente en versión beta). Esto permite a las empresas aprovechar los datos de imágenes junto con los datos de texto para la formación de LLM. Las empresas pueden utilizar esta función para extraer información de datos visuales e integrarla con sus soluciones de inteligencia artificial.

Seguridad y accesibilidad mejoradas

• Control de acceso basado en roles (RBAC): esta función otorga a los administradores un control granular sobre el acceso a los datos dentro de Snorkel Flow. Esto garantiza que la información confidencial esté protegida restringiendo el acceso a usuarios y fuentes de datos específicos.
  Procesamiento de documentos mejorado:
• Flujo de trabajo PDF basado en Foundation Model (FM): Snorkel Flow ahora incluye una interfaz de usuario de solicitud de PDF dedicada para etiquetar archivos PDF. Esto aprovecha los modelos básicos avanzados para agilizar el proceso de extracción de información valiosa de documentos complejos.

Integración simplificada de LLM:

• SDK mejorado: El SDK actualizado permite una integración más sencilla con varios servicios LLM personalizados, lo que brinda a las empresas más flexibilidad en su proceso de desarrollo de IA.
• Integración de ladrillos de datos: La perfecta compatibilidad con Databricks Unity Catalog permite la implementación sin esfuerzo de modelos dentro de los flujos de trabajo existentes. Hay una integración similar disponible con Vertex AI y Azure Machine Learning.

Anotación de datos optimizada

• Anotación de tareas múltiples (vista previa de la versión R2): Esta función, actualmente en versión preliminar, permite a las PYME (expertos en la materia) anotar datos para múltiples tareas dentro de un solo proyecto. Esto mejora la eficiencia al reducir el tiempo de configuración del proyecto y optimizar los flujos de trabajo.

Integración con Llama 3 y Gemini AI

Snorkel Flow se integra específicamente con Llama 3 y Gemini AI, dos potentes modelos de IA. Llama 3, desarrollado por Meta AI, es un modelo de lenguaje factual, entrenado en un conjunto de datos masivo de texto y código. Esto le permite comprender y responder consultas complejas de forma informativa. Gemini AI, por otro lado, es un modelo de lenguaje generativo, capaz de crear diferentes formatos de texto creativo, como poemas, códigos, guiones, piezas musicales, correos electrónicos, cartas, etc.

Al integrar Snorkel Flow con estos modelos, las empresas pueden aprovechar el poder de la IA para extraer información de sus datos empresariales y automatizar diversas tareas. Por ejemplo, Llama 3 podría usarse para analizar opiniones de clientes e identificar temas o quejas comunes. Mientras tanto, Gemini AI podría usarse para generar textos de marketing creativos o descripciones de productos basados ​​en datos existentes.

Al simplificar el proceso de etiquetado de datos y ofrecer compatibilidad con modelos potentes como Llama 3 y Gemini AI, Snorkel Flow tiene el potencial de desbloquear nuevas posibilidades para las empresas que buscan aprovechar el poder de la IA.

Crédito de la imagen destacada: rawpixel.com/Freepik

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://dataconomy.com/2024/04/25/snorkel-flow-enterprise-data-management/