Ajuste fino asistido

En el DevDay del pasado mes de noviembre, anunció un programa de modelo personalizado diseñado para entrenar y optimizar modelos para un dominio específico, en asociación con un grupo dedicado de investigadores de OpenAI. Desde entonces, nos hemos reunido con docenas de clientes para evaluar las necesidades de sus modelos personalizados y hemos desarrollado nuestro programa para maximizar aún más el rendimiento.

Hoy anunciamos formalmente nuestra oferta de ajuste asistido como parte del programa Modelo personalizado. El ajuste asistido es un esfuerzo de colaboración con nuestros equipos técnicos para aprovechar técnicas más allá de la API de ajuste, como hiperparámetros adicionales y varios métodos de ajuste eficiente de parámetros (PEFT) a mayor escala. Es particularmente útil para las organizaciones que necesitan apoyo para configurar canales de datos de capacitación, sistemas de evaluación y parámetros y métodos personalizados eficientes para maximizar el rendimiento del modelo para su caso de uso o tarea.

Por ejemplo, SK Telecom, un operador de telecomunicaciones que atiende a más de 30 millones de suscriptores en Corea del Sur, quería personalizar un modelo para ser un experto en el ámbito de las telecomunicaciones con un enfoque inicial en el servicio al cliente. Trabajaron con OpenAI para ajustar GPT-4 y mejorar su rendimiento en conversaciones relacionadas con telecomunicaciones en idioma coreano. En el transcurso de varias semanas, SKT y OpenAI impulsaron una mejora significativa del rendimiento en las tareas de servicio al cliente de telecomunicaciones: un aumento del 35 % en la calidad del resumen de conversaciones, un aumento del 33 % en la precisión del reconocimiento de intenciones y un aumento en las puntuaciones de satisfacción de 3.6 a 4.5 (fuera de de 5) al comparar el modelo ajustado con GPT-4. 

Modelo entrenado a medida

En algunos casos, las organizaciones necesitan entrenar desde cero un modelo diseñado específicamente que comprenda su negocio, industria o dominio. Los modelos totalmente entrenados a medida aportan nuevos conocimientos de un dominio específico modificando pasos clave del proceso de entrenamiento del modelo utilizando técnicas novedosas a mitad y después del entrenamiento. Las organizaciones que ven el éxito con un modelo totalmente personalizado a menudo tienen grandes cantidades de datos propietarios (millones de ejemplos o miles de millones de tokens) que quieren utilizar para enseñar al modelo nuevos conocimientos o comportamientos complejos y únicos para casos de uso muy específicos. 

Por ejemplo, Harvey, una herramienta legal nativa de IA para abogados, asociada con OpenAI para crear un modelo de lenguaje grande personalizado para la jurisprudencia. Si bien los modelos básicos eran sólidos en el razonamiento, carecían del conocimiento amplio de la historia de casos legales y otros conocimientos necesarios para el trabajo legal. Después de probar la ingeniería rápida, RAG y ajustes, Harvey trabajó con nuestro equipo para agregar la profundidad de contexto necesaria al modelo: el equivalente a 10 mil millones de tokens en datos. Nuestro equipo modificó cada paso del proceso de capacitación del modelo, desde la capacitación intermedia en un dominio específico hasta la personalización de los procesos posteriores a la capacitación y la incorporación de comentarios de abogados expertos. El modelo resultante logró un aumento del 83 % en las respuestas fácticas y los abogados prefirieron los resultados del modelo personalizado el 97 % de las veces a GPT-4.