0.1 C
New York
Big Data

Integre Amazon Bedrock con Amazon Redshift ML para aplicaciones de IA generativa

Reeditado por Platón
Reeditado por Platón

Fecha:

Vistas: 118

Desplazamiento al rojo de Amazon ha mejorado su Función Redshift ML para respaldar la integración de modelos de lenguaje grandes (LLM). Como parte de estas mejoras, Redshift ahora permite la integración nativa con lecho rocoso del amazonasEsta integración le permite utilizar LLM a partir de comandos SQL simples junto con sus datos en Amazon Redshift, lo que le ayuda a crear IA generativa aplicaciones rápidamente. Esta poderosa combinación permite a los clientes aprovechar las capacidades transformadoras de los LLM e incorporarlas sin problemas a sus flujos de trabajo analíticos.

Con esta nueva integración, ahora puede realizar tareas de IA generativa, como traducción de idiomas, resumen de texto, generación de texto, clasificación de clientes y análisis de sentimientos en sus datos de Redshift utilizando modelos de base (FM) populares, como Claude de Anthropic, Amazon Titan, Llama 2 de Meta y Mistral AI. Puede utilizar el CREAR MODELO EXTERNO comando para señalar un modelo basado en texto en lecho rocoso del amazonas, que no requieren entrenamiento ni aprovisionamiento de modelos. Puede invocar estos modelos mediante comandos SQL conocidos, lo que hace que sea más sencillo que nunca integrar capacidades de IA generativa en sus flujos de trabajo de análisis de datos.

Resumen de la solución

Para ilustrar esta nueva función de aprendizaje automático (ML) de Redshift, crearemos una solución para generar planes de dieta personalizados para pacientes en función de sus afecciones y medicamentos. La siguiente figura muestra los pasos para crear la solución y los pasos para ejecutarla.

Los pasos para construir y ejecutar la solución son los siguientes:

  1. Cargar datos de pacientes de muestra
  2. Preparar el mensaje
  3. Habilitar el acceso a LLM
  4. Cree un modelo que haga referencia al modelo LLM en Amazon Bedrock
  5. Envíe el mensaje y genere un plan de dieta personalizado para el paciente

Pre-requisitos

  1. An Cuenta de AWS.
  2. An Amazon Redshift sin servidor grupo de trabajo o almacén de datos aprovisionado. Para obtener instrucciones de configuración, consulte Creación de un grupo de trabajo con un espacio de nombres or Cree un almacén de datos de muestra de Amazon Redshift, respectivamente. La función de integración de Amazon Bedrock es compatible tanto con Amazon Redshift aprovisionado como sin servidor.
  3. Crear o actualizar una función de AWS Identity and Access Management (IAM) para la integración de Amazon Redshift ML con Amazon Bedrock.
  4. Asociar el rol IAM a una instancia de Redshift.
  5. Los usuarios deben tener la permisos requeridos Para crear modelos.

Implementación

A continuación se detallan los pasos de implementación de la solución. Los datos de muestra utilizados en la implementación son solo para fines ilustrativos. El mismo enfoque de implementación se puede adaptar a sus conjuntos de datos y casos de uso específicos.

Puede descargar una cuaderno SQL para ejecutar los pasos de implementación en Redshift Editor de consultas V2Si está utilizando otro editor SQL, puede copiar y pegar las consultas SQL desde el contenido de esta publicación o desde el cuaderno.

Cargar datos de pacientes de muestra:

  1. Abra Amazon Redshift Editor de consultas V2 u otro editor SQL de su elección y conéctese al almacén de datos de Redshift.
  2. Ejecute el siguiente SQL para crear el patientsinfo tabla y cargar datos de muestra.
-- Create table

CREATE TABLE patientsinfo (
pid integer ENCODE az64,
pname varchar(100),
condition character varying(100) ENCODE lzo,
medication character varying(100) ENCODE lzo
);

  1. Descargue nuestra archivo de muestra, cárguelo en su depósito S3 y cargue los datos en el patientsinfo tabla utilizando el siguiente comando COPY.
-- Load sample data
COPY patientsinfo
FROM 's3://<<your_s3_bucket>>/sample_patientsinfo.csv'
IAM_ROLE DEFAULT
csv
DELIMITER ','
IGNOREHEADER 1;

Prepara el mensaje:

  1. Ejecute el siguiente SQL para agregar las condiciones y los medicamentos del paciente.
SELECT
pname,
listagg(distinct condition,',') within group (order by pid) over (partition by pid) as conditions,
listagg(distinct medication,',') within group (order by pid) over (partition by pid) as medications
FROM patientsinfo

A continuación, se muestra un ejemplo de salida que muestra las condiciones y los medicamentos agregados. La salida incluye varias filas, que se agruparán en el siguiente paso.

  1. Cree el mensaje para combinar datos de pacientes, afecciones y medicamentos.
SELECT
pname || ' has ' || conditions || ' taking ' || medications as patient_prompt
FROM (
    SELECT pname, 
    listagg(distinct condition,',') within group (order by pid) over (partition by pid) as conditions,
    listagg(distinct medication,',') within group (order by pid) over (partition by pid) as medications
    FROM patientsinfo) 
GROUP BY 1

A continuación se muestra un ejemplo de salida que muestra los resultados del mensaje completamente creado concatenando los pacientes, las condiciones y los medicamentos en un valor de una sola columna.

  1. Cree una vista materializada con la consulta SQL anterior como definición. Este paso no es obligatorio; está creando la tabla para facilitar su lectura. Tenga en cuenta que es posible que vea un mensaje que indique que las vistas materializadas con alias de columna no se actualizarán de forma incremental. Puede ignorar este mensaje sin problemas para los fines de esta ilustración.
CREATE MATERIALIZED VIEW mv_prompts AUTO REFRESH YES
AS
(
SELECT pid,
pname || ' has ' || conditions || ' taking ' || medications as patient_prompt
FROM (
SELECT pname, pid,
listagg(distinct condition,',') within group (order by pid) over (partition by pid) as conditions,
listagg(distinct medication,',') within group (order by pid) over (partition by pid) as medications
FROM patientsinfo)
GROUP BY 1,2
)

  1. Ejecute el siguiente SQL para revisar la salida de muestra.
SELECT * FROM mv_prompts limit 5;

A continuación se muestra un ejemplo de salida con una vista materializada.

Habilitar el acceso al modelo LLM:

Realice los siguientes pasos para habilitar el acceso al modelo en Amazon Bedrock.

  1. Navegue hasta la Consola Amazon Bedrock.
  2. En el panel de navegación, elija Acceso al modelo.

  1. Elija Habilitar modelos específicos.
    Debes tener lo requerido permisos de gestión de identidades y accesos para habilitar el acceso a las FM de Amazon Bedrock disponibles.

  1. Para esta ilustración, utilice El modelo Claude de Anthropic. Ingresar Claude en el cuadro de búsqueda y seleccione Claude de la lista. Escoger Siguiente para proceder.

  1. Revisa la selección y elige Enviar.

Cree un modelo que haga referencia al modelo LLM en Amazon Bedrock:

  1. Regresar a Amazon Redshift Editor de consultas V2 o, si no utilizó Query Editor V2, al editor SQL que utilizó para conectarse con el almacén de datos de Redshift.
  2. Ejecute el siguiente SQL para crear un modelo externo haciendo referencia a la anthropic.claude-v2 modelo en Amazon Bedrock. Ver Identificadores de modelos de Amazon Bedrock para saber cómo encontrar el ID del modelo.
CREATE EXTERNAL MODEL patient_recommendations
FUNCTION patient_recommendations_func
IAM_ROLE '<<provide the arn of IAM role created in pre-requisites>>'
MODEL_TYPE BEDROCK
SETTINGS (
    MODEL_ID 'anthropic.claude-v2',
    PROMPT 'Generate personalized diet plan for following patient:');

Envíe el mensaje y genere un plan de dieta personalizado para el paciente:

  1. Ejecute el siguiente SQL para pasar el mensaje a la función creada en el paso anterior.
SELECT patient_recommendations_func(patient_prompt) 
FROM mv_prompts limit 2;

  1. Obtendrás el resultado con el plan de dieta generado. Puedes copiar las celdas y pegarlas en un editor de texto o exportar el resultado para ver los resultados en una hoja de cálculo si estás usando Redshift Query Editor V2.

Necesitará ampliar el tamaño de la fila para ver el texto completo.

Opciones de personalización adicionales

El ejemplo anterior demuestra una integración sencilla de Amazon Redshift con Amazon Bedrock. Sin embargo, puede personalizar aún más esta integración para adaptarla a sus necesidades y requisitos específicos.

  • Las funciones de inferencia son las mismas que las de un líder: Las funciones de inferencia de modelos de Amazon Bedrock se pueden ejecutar solo como nodo líder cuando la consulta no hace referencia a tablas. Esto puede resultar útil si desea realizar una pregunta rápidamente a un LLM.

Puede ejecutar el siguiente SQL sin ningún problema FROM cláusula. Esto se ejecutará solo como función del nodo líder porque no necesita obtener datos y pasarlos al modelo.

SELECT patient_recommendations_func('Generate diet plan for pre-diabetes');

Esto devolverá un plan de dieta genérico de 7 días para personas prediabéticas. La siguiente figura es un ejemplo de resultado generado por la llamada de función anterior.

  • Inferencia con modelos de tipo de solicitud UNIFICADOS: En este modo, puede pasar parámetros opcionales adicionales junto con el texto de entrada para personalizar la respuesta. Amazon Redshift pasa estos parámetros a los parámetros correspondientes para la API inversa.

En el siguiente ejemplo, configuramos el temperature parámetro a un valor personalizado. El parámetro temperature Afecta la aleatoriedad y la creatividad de los resultados del modelo. El valor predeterminado es 1 (el rango es 0–1.0).

SELECT patient_recommendations_func(patient_prompt,object('temperature', 0.2)) 
FROM mv_prompts
WHERE pid=101;

A continuación se muestra un ejemplo de resultado con una temperatura de 0.2. El resultado incluye recomendaciones para beber líquidos y evitar determinados alimentos.

Regenerar las predicciones, esta vez estableciendo la temperatura en 0.8 para el mismo paciente.

SELECT patient_recommendations_func(patient_prompt,object('temperature', 0.8)) 
FROM mv_prompts
WHERE pid=101;

A continuación, se muestra un ejemplo de resultado con una temperatura de 0.8. El resultado incluye recomendaciones sobre la ingesta de líquidos y los alimentos que se deben evitar, pero es más específico en esas recomendaciones.

Tenga en cuenta que el resultado no será el mismo cada vez que ejecute una consulta en particular. Sin embargo, queremos demostrar que el comportamiento del modelo se ve afectado por el cambio de parámetros.

  • Inferencia con modelos de tipo solicitud RAW: CREATE EXTERNAL MODEL admite modelos alojados en Amazon Bedrock, incluso aquellos que no son compatibles con la API Converse de Amazon Bedrock. En esos casos, request_type necesita ser raw y la solicitud debe construirse durante la inferencia. La solicitud es una combinación de un mensaje y parámetros opcionales.

Asegúrese de habilitar el acceso al modelo Titan Text G1 – Express en Amazon Bedrock antes de ejecutar el siguiente ejemplo. Debe seguir los mismos pasos que se describieron anteriormente en Habilitar el acceso al modelo LLM para permitir el acceso a este modelo.

-- Create model with REQUEST_TYPE as RAW

CREATE EXTERNAL MODEL titan_raw
FUNCTION func_titan_raw
IAM_ROLE '<<provide the arn of IAM role created in pre-requisites>>'
MODEL_TYPE BEDROCK
SETTINGS (
MODEL_ID 'amazon.titan-text-express-v1',
REQUEST_TYPE RAW,
RESPONSE_TYPE SUPER);

-- Need to construct the request during inference.
SELECT func_titan_raw(object('inputText', 'Generate personalized diet plan for following: ' || patient_prompt, 'textGenerationConfig', object('temperature', 0.5, 'maxTokenCount', 500)))
FROM mv_prompts limit 1;

La siguiente figura muestra la salida de muestra.

  • Obtener métricas de ejecución con RESPONSE_TYPE como SUPER: Si necesita más información sobre una solicitud de entrada, como el total de tokens, puede solicitarla. RESPONSE_TYPE para ser super Cuando creas el modelo.
-- Create Model specifying RESPONSE_TYPE as SUPER.

CREATE EXTERNAL MODEL patient_recommendations_v2
FUNCTION patient_recommendations_func_v2
IAM_ROLE '<<provide the arn of IAM role created in pre-requisites>>'
MODEL_TYPE BEDROCK
SETTINGS (
MODEL_ID 'anthropic.claude-v2',
PROMPT 'Generate personalized diet plan for following patient:',
RESPONSE_TYPE SUPER);

-- Run the inference function
SELECT patient_recommendations_func_v2(patient_prompt)
FROM mv_prompts limit 1;

La siguiente figura muestra la salida, que incluye los tokens de entrada, los tokens de salida y las métricas de latencia.

Consideraciones y mejores prácticas

Hay algunas cosas que debemos tener en cuenta al utilizar los métodos descritos en esta publicación:

  • Las consultas de inferencia pueden generar excepciones de limitación debido a las cuotas de tiempo de ejecución limitadas para Amazon Bedrock. Amazon Redshift vuelve a intentar las solicitudes varias veces, pero las consultas pueden verse limitadas porque el rendimiento de los modelos no aprovisionados puede ser variable.
  • El rendimiento de las consultas de inferencia está limitado por las cuotas de tiempo de ejecución de los diferentes modelos que ofrece Amazon Bedrock en las distintas regiones de AWS. Si considera que el rendimiento no es suficiente para su aplicación, puede solicitar un aumento de la cuota para su cuenta. Para obtener más información, consulte Cuotas para Amazon Bedrock.
  • Si necesita un rendimiento estable y constante, considere obtener el rendimiento aprovisionado para el modelo que necesita de Amazon Bedrock. Para obtener más información, consulte Aumente la capacidad de invocación de modelos con Provisioned Throughput en Amazon Bedrock.
  • El uso de Amazon Redshift ML con Amazon Bedrock implica costos adicionales. El costo es específico del modelo y de la región y depende de la cantidad de tokens de entrada y salida que procesará el modelo. Para obtener más información, consulte Precios de Amazon Bedrock.

Limpiar

Para evitar incurrir en cargos futuros, elimine la instancia de Redshift Serverless o el almacén de datos aprovisionado por Redshift creado como parte de los pasos previos.

Conclusión

En esta publicación, aprendió a usar la función Amazon Redshift ML para invocar LLM en Amazon Bedrock desde Amazon Redshift. Se le proporcionaron instrucciones paso a paso sobre cómo implementar esta integración, utilizando conjuntos de datos ilustrativos. Además, lea sobre varias opciones para personalizar aún más la integración para satisfacer sus necesidades específicas. Lo alentamos a que pruebe Integración de Redshift ML con Amazon Bedrock y comparta sus comentarios con nosotros.

Acerca de los autores

satesh sonti es un arquitecto de soluciones sénior especializado en análisis con sede en Atlanta, especializado en la creación de servicios de datos empresariales, almacenamiento de datos y soluciones analíticas. Tiene más de 19 años de experiencia en la creación de activos de datos y en la dirección de servicios de datos complejos para clientes bancarios y de seguros en todo el mundo.

Nikos Koulouris es ingeniero de desarrollo de software en AWS. Recibió su doctorado de la Universidad de California, San Diego y ha estado trabajando en las áreas de bases de datos y análisis.

Artículos relacionados

punto_img

Artículos Recientes

punto_img
Contenido premium

Derechos de autor @ 2024 Plato Technologies Inc.