El aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) se reconoce como la técnica estándar de la industria para garantizar que los modelos de lenguaje grandes (LLM) produzcan contenido veraz, inofensivo y útil. La técnica opera entrenando un "modelo de recompensa" basado en la retroalimentación humana y utiliza este modelo como una función de recompensa para optimizar la política de un agente a través del aprendizaje por refuerzo (RL). RLHF ha demostrado ser esencial para producir LLM como ChatGPT de OpenAI y Claude de Anthropic que estén alineados con los objetivos humanos. Atrás quedaron los días en los que se necesitaba ingeniería rápida y antinatural para obtener modelos base, como GPT-3, para resolver sus tareas.

Una advertencia importante sobre la RLHF es que es un procedimiento complejo y a menudo inestable. Como método, RLHF requiere que primero se entrene un modelo de recompensa que refleje las preferencias humanas. Luego, el LLM debe ajustarse para maximizar la recompensa estimada del modelo de recompensa sin alejarse demasiado del modelo original. En esta publicación, demostraremos cómo ajustar un modelo base con RLHF en Amazon SageMaker. También le mostramos cómo realizar una evaluación humana para cuantificar las mejoras del modelo resultante.

Requisitos previos

Antes de comenzar, asegúrese de comprender cómo utilizar los siguientes recursos:

Resumen de la solución

Muchas aplicaciones de IA generativa se inician con LLM básicos, como GPT-3, que se entrenaron con cantidades masivas de datos de texto y generalmente están disponibles para el público. Los LLM básicos son, por defecto, propensos a generar texto de una manera impredecible y, a veces, dañina como resultado de no saber cómo seguir las instrucciones. Por ejemplo, dada la indicación, “escribir un correo electrónico a mis padres deseándoles un feliz aniversario”, un modelo base podría generar una respuesta similar al autocompletado del mensaje (p. ej. “y muchos años más de amor juntos”) en lugar de seguir la indicación como una instrucción explícita (por ejemplo, un correo electrónico escrito). Esto ocurre porque el modelo está entrenado para predecir el siguiente token. Para mejorar la capacidad del modelo base para seguir instrucciones, los anotadores de datos humanos tienen la tarea de crear respuestas a varias indicaciones. Las respuestas recopiladas (a menudo denominadas datos de demostración) se utilizan en un proceso llamado ajuste fino supervisado (SFT). RLHF refina y alinea aún más el comportamiento del modelo con las preferencias humanas. En esta publicación de blog, pedimos a los anotadores que clasifiquen los resultados del modelo según parámetros específicos, como utilidad, veracidad e inocuidad. Los datos de preferencia resultantes se utilizan para entrenar un modelo de recompensa que, a su vez, es utilizado por un algoritmo de aprendizaje por refuerzo llamado Optimización de políticas próximas (PPO) para entrenar el modelo supervisado y ajustado. Los modelos de recompensa y el aprendizaje por refuerzo se aplican de forma iterativa con retroalimentación humana.

El siguiente diagrama ilustra esta arquitectura.

En esta publicación de blog, ilustramos cómo se puede realizar RLHF en Amazon SageMaker mediante la realización de un experimento con el popular software de código abierto. Repositorio RLHF Trlx. A través de nuestro experimento, demostramos cómo se puede utilizar RLHF para aumentar la utilidad o inocuidad de un modelo de lenguaje grande utilizando los recursos disponibles públicamente. Conjunto de datos de utilidad e inocuidad (HH) proporcionado por Anthropic. Usando este conjunto de datos, llevamos a cabo nuestro experimento con Cuaderno de Amazon SageMaker Studio que se ejecuta en un ml.p4d.24xlarge instancia. Finalmente, proporcionamos una Cuaderno Jupyter para replicar nuestros experimentos.

Complete los siguientes pasos en el cuaderno para descargar e instalar los requisitos previos:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Importar datos de demostración

El primer paso en RLHF implica recopilar datos de demostración para ajustar un LLM base. A los efectos de esta publicación de blog, utilizamos datos de demostración en el conjunto de datos de HH como se informó anteriormente. Podemos cargar los datos de demostración directamente desde el paquete de conjuntos de datos de Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Ajuste supervisado de un LLM base

El siguiente paso es realizar un ajuste supervisado de un LLM base. En esta publicación de blog, nos referimos al modelo base que ha sido sometido a ajustes supervisados ​​simplemente como el "modelo SFT". Se requiere un ajuste supervisado para aprender de los datos de demostración, de modo que un LLM se desempeñe bien en nuestra tarea conversacional y aprenda a ser útil e inofensivo. En esta publicación, utilizamos los disponibles públicamente. EleutherAI/gpt-j-6b modelo alojado en Hugging Face. También utilizamos el marco Trlx que proporciona código para el ajuste supervisado de este modelo.

Ejecute los siguientes comandos para comenzar a entrenar:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Importar datos de preferencias

Como se muestra en el diagrama anterior, un paso crítico en RLHF implica adquirir datos de preferencias. Los datos de preferencia son una colección de ejemplos que demuestran cómo un ser humano prefiere una salida de la máquina sobre otra basándose en criterios de utilidad e inocuidad.

La siguiente tabla muestra el concepto de preferencia:

Entrena tu modelo de recompensa

Nuestro modelo de recompensa se basa en GPT-J-6B y está ajustado al conjunto de datos HH mencionado anteriormente. Dado que entrenar el modelo de recompensa no es el objetivo de esta publicación, usaremos un modelo de recompensa previamente entrenado especificado en el repositorio de Trlx, el Dahoas/gptj-rm-static. Si desea entrenar su propio modelo de recompensa, consulte la biblioteca de autocríticos en GitHub.

Entrenamiento RLHF

Ahora que hemos adquirido todos los componentes necesarios para la capacitación de RLHF (es decir, un modelo SFT y un modelo de recompensa), podemos comenzar a optimizar la política utilizando RLHF.

Para ello, modificamos la ruta al modelo SFT en examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Luego ejecutamos los comandos de entrenamiento:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

El script inicia el modelo SFT utilizando sus pesos actuales y luego los optimiza bajo la guía de un modelo de recompensa, de modo que el modelo entrenado RLHF resultante se alinee con las preferencias humanas. El siguiente diagrama muestra las puntuaciones de recompensa de los resultados del modelo a medida que avanza el entrenamiento de RLHF. El entrenamiento de refuerzo es muy volátil, por lo que la curva fluctúa, pero la tendencia general de la recompensa es ascendente, lo que significa que el resultado del modelo se alinea cada vez más con las preferencias humanas según el modelo de recompensa. En general, la recompensa mejora de -3.42e-1 en la iteración 0 al valor más alto de -9.869e-3 en la iteración 3000.

El siguiente diagrama muestra una curva de ejemplo cuando se ejecuta RLHF.

Evaluación humana

Habiendo perfeccionado nuestro modelo SFT con RLHF, ahora pretendemos evaluar el impacto del proceso de ajuste en relación con nuestro objetivo más amplio de producir respuestas que sean útiles e inofensivas. Para respaldar este objetivo, comparamos las respuestas generadas por el modelo ajustado con RLHF con las respuestas generadas por el modelo SFT. Experimentamos con 100 indicaciones derivadas del conjunto de prueba del conjunto de datos de HH. Pasamos programáticamente cada mensaje a través del modelo SFT y RLHF ajustado para obtener dos respuestas. Finalmente, pedimos a los anotadores humanos que seleccionen la respuesta preferida en función de la utilidad e inocuidad percibidas.

El enfoque de Evaluación Humana es definido, lanzado y gestionado por el Amazon SageMaker Tierra Verdad Plus servicio de etiquetado. SageMaker Ground Truth Plus permite a los clientes preparar conjuntos de datos de entrenamiento a gran escala y de alta calidad para ajustar los modelos básicos para realizar tareas de IA generativa similares a las humanas. También permite a humanos capacitados revisar los resultados del modelo para alinearlos con las preferencias humanas. Además, permite a los creadores de aplicaciones personalizar modelos utilizando los datos de su industria o empresa mientras preparan conjuntos de datos de capacitación. Como se muestra en una publicación de blog anterior. (“Comentarios humanos de alta calidad para sus aplicaciones de IA generativa de Amazon SageMaker Ground Truth Plus”), SageMaker Ground Truth Plus proporciona flujos de trabajo, interfaces de etiquetado y una fuerza laboral calificada para generar datos de retroalimentación humana de alta calidad para realizar estas tareas en un servicio llave en mano y totalmente administrado en nombre del cliente. Usamos una interfaz de tareas similar a la UI que se muestra a continuación para facilitar el paso de evaluación humana de nuestro experimento.

Concluimos nuestro experimento de evaluación de modelos determinando cuál de los dos modelos (SFT o RLHF) produjo respuestas que fueron preferidas con mayor frecuencia. Para 84 de las 100 indicaciones y respuestas que se evalúan, observamos que las respuestas del modelo ajustado con RLHF son al menos tan buenas o más preferidas que las generadas por el modelo ajustado con SFT (el modelo entrenado con RLHF es más preferido 30 veces, empatado 54 veces). Como se muestra en la siguiente tabla, una comparación cualitativa de las respuestas del modelo proporciona evidencia de respaldo que ilustra cómo el modelo RLHF tiende a ser más útil y objetivamente correcto que el modelo SFT. Tomado en conjunto, nuestro experimento sugiere que RLHF, de hecho, mejora la capacidad del modelo para producir resultados que estén mejor alineados con los valores de interés.

Evaluación de toxicidad

Para cuantificar cómo RLHF reduce la toxicidad en las generaciones de modelos, tomamos como punto de referencia el popular Conjunto de pruebas RealToxicityPrompt y medir la toxicidad en una escala continua de 0 (No tóxico) a 1 (Tóxico). Seleccionamos aleatoriamente 1,000 casos de prueba del conjunto de pruebas RealToxicityPrompt y comparamos la toxicidad de los resultados de los modelos SFT y RLHF. A través de nuestra evaluación, encontramos que el modelo RLHF logra una toxicidad menor (0.129 en promedio) que el modelo SFT (0.134 en promedio), lo que demuestra la efectividad de la técnica RLHF para reducir la nocividad de la producción.

Limpiar

Una vez que haya terminado, debe eliminar los recursos de la nube que creó para evitar incurrir en tarifas adicionales. Si optó por reflejar este experimento en un cuaderno de SageMaker, solo necesita detener la instancia del cuaderno que estaba utilizando. Para obtener más información, consulte la documentación de la Guía para desarrolladores de AWS Sagemaker en “Limpiar.

Conclusión

En esta publicación, mostramos cómo entrenar un modelo base, GPT-J-6B, con RLHF en Amazon SageMaker. Proporcionamos un código que explica cómo ajustar el modelo base con entrenamiento supervisado, entrenar el modelo de recompensa y entrenar RL con datos de referencia humanos. Demostramos que los anotadores prefieren el modelo entrenado RLHF. Ahora puede crear modelos potentes personalizados para su aplicación.

Si necesita datos de entrenamiento de alta calidad para sus modelos, como datos de demostración o datos de preferencias, Amazon SageMaker puede ayudarle eliminando el trabajo pesado indiferenciado asociado con la creación de aplicaciones de etiquetado de datos y la gestión de la fuerza laboral de etiquetado. Cuando tenga los datos, utilice la interfaz web de SageMaker Studio Notebook o el cuaderno proporcionado en el repositorio de GitHub para obtener su modelo entrenado RLHF.

Acerca de los autores

Wei Feng Chen es un científico aplicado en el equipo científico Human-in-the-loop de AWS. Desarrolla soluciones de etiquetado asistido por máquinas para ayudar a los clientes a obtener aceleraciones drásticas en la adquisición de datos reales que abarcan el dominio de la visión por computadora, el procesamiento del lenguaje natural y la inteligencia artificial generativa.

Erran Li es el gerente de ciencias aplicadas de humain-in-the-loop Services, AWS AI, Amazon. Sus intereses de investigación son el aprendizaje profundo en 3D y el aprendizaje de representación de visión y lenguaje. Anteriormente, fue científico senior en Alexa AI, jefe de aprendizaje automático en Scale AI y científico jefe en Pony.ai. Antes de eso, estuvo en el equipo de percepción de Uber ATG y en el equipo de plataforma de aprendizaje automático de Uber trabajando en aprendizaje automático para conducción autónoma, sistemas de aprendizaje automático e iniciativas estratégicas de IA. Comenzó su carrera en Bell Labs y fue profesor adjunto en la Universidad de Columbia. Co-impartió tutoriales en ICML'17 e ICCV'19, y coorganizó varios talleres en NeurIPS, ICML, CVPR, ICCV sobre aprendizaje automático para conducción autónoma, visión 3D y robótica, sistemas de aprendizaje automático y aprendizaje automático adversario. Tiene un doctorado en informática en la Universidad de Cornell. Es miembro de ACM y miembro de IEEE.

Koushik Kalyanaraman es ingeniero de desarrollo de software en el equipo científico Human-in-the-loop de AWS. En su tiempo libre juega baloncesto y pasa tiempo con su familia.

xiong zhou es científico aplicado sénior en AWS. Dirige el equipo científico de capacidades geoespaciales de Amazon SageMaker. Su área actual de investigación incluye visión por computadora y entrenamiento de modelos eficientes. En su tiempo libre le gusta correr, jugar baloncesto y pasar tiempo con su familia.

Alex Williams es un científico aplicado en AWS AI, donde trabaja en problemas relacionados con la inteligencia artificial interactiva. Antes de incorporarse a Amazon, fue profesor en el Departamento de Ingeniería Eléctrica e Informática de la Universidad de Tennessee. También ocupó puestos de investigación en Microsoft Research, Mozilla Research y la Universidad de Oxford. Tiene un doctorado en Ciencias de la Computación de la Universidad de Waterloo.

AmmaChinoy es el Gerente General/Director de los servicios AWS Human-In-The-Loop. En su tiempo libre, trabaja en el aprendizaje por refuerzo positivo con sus tres perros: Waffle, Widget y Walker.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/