Los científicos de ETH Zurich en Suiza creen que una forma de hacer que los modelos de lenguaje grande (LLM) sean más asequibles, y quizás un poco más seguros, es no abordarlos directamente en un lenguaje natural como el inglés.
Más bien, proponen hacer que los LLM sean más programables, a través de la programación del modelo de lenguaje (LMP).
Los científicos informáticos de ETH Zurich Luca Beurer-Kellner, Marc Fischer, ambos estudiantes de doctorado y el profesor Martin Vechev han desarrollado un lenguaje de programación y tiempo de ejecución llamado LMQL, que significa Language Model Query Language.
Es un poco como SQL para LLM.
La programación del modelo de lenguaje pretende complementar, no reemplazar, las indicaciones basadas en texto. Es para simplificar la interacción con los modelos de lenguaje para lograr una tarea específica, un desafío que proyectos relacionados como PromptChainer, langchain, OpenPrompt y PromptSource intentan abordar.
“LMP generaliza las indicaciones del modelo de lenguaje desde indicaciones de texto puro a una combinación intuitiva de indicaciones de texto y secuencias de comandos”, explican los autores en un trabajo de investigación [PDF]. "Además, LMP permite especificar restricciones sobre la salida del modelo de lenguaje".
Y cuando se puede persuadir a los LLM para que digan cosas horribles, restringir su producción tiene cierto atractivo.
Otros, como Nvidia, también parecen estar convencidos de que controlar la producción de LLM es un objetivo que vale la pena perseguir. el fabricante de chips Barandillas NeMo El proyecto promete "formas específicas de controlar la salida de un gran modelo de lenguaje, como no hablar de política..."
LMQL permite a los desarrolladores de modelos declarar restricciones lógicas que rigen la salida del modelo. Estos se convierten en "máscaras de predicción de nivel de token": fichas siendo de lo que se ocupan los LLM.
Aquí hay un ejemplo de la documentación sobre una consulta LMQL:
argmax """Reseña: Tuvimos una gran estadía. Caminar por las montañas fue fabuloso y la comida es realmente buena. P: ¿Cuál es el sentimiento subyacente de esta reseña y por qué? R: [ANÁLISIS] Basado en esto, el sentimiento general del mensaje se puede considerar [CLASIFICACIÓN]""" de "openai/text-davinci-003" donde no "n" en ANÁLISIS y CLASIFICACIÓN en ["positivo", "neutral", "negativo"]
La salida del modelo sería:
Comentario: Tuvimos una gran estadía. Caminar por las montañas fue fabuloso y la comida es realmente buena.⏎ P: ¿Cuál es el sentimiento subyacente de esta revisión y por qué?⏎ R: ANÁLISIS⏎ Basado en esto, el sentimiento general del mensaje puede considerarse CLASIFICACIÓN positivo
En ausencia de las tres restricciones: positivo, neutral, negativas – el modelo podría haberse descarrilado y propuesto algún descriptor de sentimiento loco como candidato or malos. Entiendes la idea.
"Al usar LMQL, puede restringir su modelo de lenguaje para seguir estrictamente un marco específico que diseñó", dijo Luca Beurer-Kellner en un ETH Zurich comunicado de prensa. “Esto te permite controlar mejor cómo se comporta el modelo de lenguaje. Por supuesto, la prevención total garantizada del mal comportamiento sigue siendo muy difícil de lograr, pero LMQL es un paso en esta dirección”.
La limitación de la producción es un problema importante para los LLM, conocidos por ser fácilmente persuadidos para regurgitar contenido tóxico de datos de capacitación no examinados, aunque no es el único. También está el problema de la entrada manipuladora, específicamente ataques rápidos de inyección.
Simon Willison, quien habló con El registro recientemente sobre este tema, expresó su escepticismo de que LMQL pueda mitigar por completo el engaño rápido. “Necesito que se pongan de pie y digan 'específicamente con respecto a la inyección rápida... es por eso que nuestra técnica lo resuelve donde los esfuerzos anteriores fallaron'”, dijo.
Si bien LMQL afirma tener cierta utilidad para mejorar la seguridad de LLM, su propósito principal parece ser ahorrar dinero. El lenguaje reduce las consultas del modelo y la cantidad de tokens facturables hasta en un 41 % y un 31 % respectivamente, lo que a su vez requiere menos recursos computacionales.
“LMQL aprovecha las restricciones del usuario y las indicaciones programadas para reducir el espacio de búsqueda de un LM mediante el enmascaramiento, lo que da como resultado una reducción de hasta el 80 por ciento del costo de inferencia”, afirman los científicos, y señalan que la latencia también se reduce.
Para las API de pago por uso como las que ofrece OpenAI, proyectan ahorros de costos en el rango de 26 a 85 por ciento, según el precio de $ 0.02/1k tokens del modelo GPT-3 davinci. ®
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoAiStream. Inteligencia de datos Web3. Conocimiento amplificado. Accede Aquí.
- Acuñando el futuro con Adryenn Ashley. Accede Aquí.
- Fuente: https://go.theregister.com/feed/www.theregister.com/2023/04/28/ai_models_may_not_yet/
