Las notas de las reuniones son una parte crucial de la colaboración, pero a menudo pasan desapercibidas. Entre liderar debates, escuchar atentamente y escribir notas, es fácil que la información clave se escape sin registrarse. Incluso cuando se capturan notas, pueden estar desorganizadas o ser ilegibles, haciéndolas inútiles.

En esta publicación, exploramos cómo usar Amazon Transcribe y lecho rocoso del amazonas para generar automáticamente resúmenes limpios y concisos de grabaciones de video o audio. Ya sea una reunión interna del equipo, una conferencia o una llamada sobre resultados, este enfoque puede ayudarle a sintetizar horas de contenido en puntos destacados.

Analizamos una solución para transcribir una reunión del equipo del proyecto y resumir las conclusiones clave de Amazon Bedrock. También analizamos cómo puede personalizar esta solución para otros escenarios comunes, como conferencias de cursos, entrevistas y llamadas de ventas. Continúe leyendo para simplificar y automatizar su proceso de toma de notas.

Resumen de la solución

Al combinar Amazon Transcribe y Amazon Bedrock, puede ahorrar tiempo, capturar información y mejorar la colaboración. Amazon Transcribe es un servicio de reconocimiento automático de voz (ASR) que facilita la adición de capacidad de conversión de voz a texto a las aplicaciones. Utiliza tecnologías avanzadas de aprendizaje profundo para transcribir audio en texto con precisión. Amazon Bedrock es un servicio totalmente administrado que ofrece una selección de modelos básicos (FM) de alto rendimiento de empresas líderes en inteligencia artificial como AI21 Labs, Anthropic, Cohere, Meta, Stability AI y Amazon con una única API, junto con un amplio conjunto de capacidades que necesita para crear aplicaciones de IA generativa. Con Amazon Bedrock, puede experimentar fácilmente con una variedad de FM principales y personalizarlos de forma privada con sus datos mediante técnicas como el ajuste fino y la generación aumentada de recuperación (RAG).

La solución presentada en esta publicación está orquestada utilizando un Funciones de paso de AWS máquina de estado que se activa cuando carga una grabación en el sitio designado Servicio de almacenamiento simple de Amazon (Amazon S3) cubo. Step Functions le permite crear flujos de trabajo sin servidor para orquestar y conectar componentes en los servicios de AWS. Maneja la complejidad subyacente para que usted pueda concentrarse en la lógica de la aplicación. Es útil para coordinar tareas, procesamiento distribuido, ETL (extracción, transformación y carga) y automatización de procesos comerciales.

El siguiente diagrama ilustra la arquitectura de la solución de alto nivel.

El flujo de trabajo de la solución incluye los siguientes pasos:

1. Un usuario almacena una grabación en el depósito de activos de S3.
2. Esta acción activa la máquina de estado de transcripción y resumen de Step Functions.
3. Como parte de la máquina estatal, un AWS Lambda Se activa la función, que transcribe la grabación mediante Amazon Transcribe y almacena la transcripción en el depósito de activos.
4. Una segunda función Lambda recupera la transcripción y genera un resumen utilizando el modelo Anthropic Claude en Amazon Bedrock.
5. Por último, una función Lambda final utiliza Servicio de notificación simple de Amazon (Amazon SNS) para enviar un resumen de la grabación al destinatario.

Esta solución es compatible con las regiones donde se encuentra Anthropic Claude en Amazon Bedrock. Hoy Disponibles.

La máquina de estados organiza los pasos para realizar las tareas específicas. El siguiente diagrama ilustra el proceso detallado.

Requisitos previos

Los usuarios de Amazon Bedrock deben solicitar acceso a los modelos antes de que estén disponibles para su uso. Esta es una acción única. Para esta solución, deberá habilitar el acceso al modelo Anthropic Claude (no Anthropic Claude Instant) en Amazon Bedrock. Para obtener más información, consulte Modelo de acceso.

Implementar recursos de solución

La solución se implementa utilizando un Formación en la nube de AWS plantilla, que se encuentra en el Repositorio GitHub, para aprovisionar automáticamente los recursos necesarios en su cuenta de AWS. La plantilla requiere los siguientes parámetros:

• Dirección de correo electrónico utilizada para enviar el resumen – El resumen se enviará a esta dirección. Debe confirmar el correo electrónico de confirmación inicial de Amazon SNS antes de recibir notificaciones adicionales.
• Instrucciones resumidas – Estas son las instrucciones que se le dan al modelo de Amazon Bedrock para generar el resumen.

Ejecute la solución

Después de implementar la solución mediante AWS CloudFormation, complete los siguientes pasos:

1. Confirme la confirmación por correo electrónico de Amazon SNS que debería recibir unos momentos después de crear la pila de CloudFormation.
2. En la consola de AWS CloudFormation, navegue hasta la pila que acaba de crear.
3. en la pila Salidas y busque el valor asociado con AssetBucketName; se verá algo así como summary-generator-assetbucket-xxxxxxxxxxxxx.
4. En la consola de Amazon S3, navegue hasta su depósito de activos.

Aquí es donde subirás tus grabaciones. Los formatos de archivo válidos son MP3, MP4, WAV, FLAC, AMR, OGG y WebM.

5. Sube tu grabación al recordings carpeta.

La carga de grabaciones activará automáticamente la máquina de estado de Step Functions. Para este ejemplo, utilizamos una grabación de reunión de equipo de muestra en el sample-recording directorio del repositorio de GitHub.

6. En la consola de Step Functions, navegue hasta la máquina de estado del generador de resumen.
7. Elija el nombre de la máquina de estado ejecutada con el estado Correr.

Aquí puede observar el progreso de la máquina de estado mientras procesa la grabación.

8. Después de que alcance su éxito estado, debería recibir un resumen de la grabación por correo electrónico.

Alternativamente, puede navegar al depósito de activos de S3 y ver la transcripción allí en la carpeta de transcripciones.

Revisa el resumen

Recibirá el resumen de la grabación por correo electrónico a la dirección que proporcionó cuando creó la pila de CloudFormation. Si no recibe el correo electrónico en unos momentos, asegúrese de haber reconocido el correo electrónico de confirmación de Amazon SNS que debería haber recibido después de crear la pila y luego cargar la grabación nuevamente, lo que activará el proceso de resumen.

Esta solución incluye una grabación simulada de una reunión de equipo que puede utilizar para probar la solución. El resumen será similar al siguiente ejemplo. Sin embargo, debido a la naturaleza de la IA generativa, su resultado se verá un poco diferente, pero el contenido debe ser similar.

Estos son los puntos clave del stand-up:

• Joe terminó de revisar el estado actual de la tarea EDU1 y creó una nueva tarea para desarrollar el estado futuro. Esa nueva tarea está en el trabajo pendiente y debe priorizarse. Ahora está iniciando EDU2 pero está bloqueado en la selección de recursos.
• Rob creó una estrategia de etiquetado para SLG1 basada en las mejores prácticas, pero es posible que necesite coordinarse con otros equipos que han creado sus propias estrategias para alinearse con un enfoque uniforme. Se creó una nueva tarea para coordinar las estrategias de etiquetado.
• Rob ha progresado en la depuración de SLG2, pero es posible que necesite ayuda adicional. Esta tarea se trasladará al Sprint 2 para dar tiempo a obtener recursos adicionales.

Proximos Pasos

• Joe continuará trabajando en EDU2 como pueda hasta que se decida la selección de recursos.
• Se priorizará una nueva tarea para coordinar estrategias de etiquetado entre equipos
• SLG2 pasó al Sprint 2
• Los standups se trasladarán a los lunes a partir de la próxima semana

Ampliar la solución

Ahora que tiene una solución que funciona, aquí hay algunas ideas potenciales para personalizar la solución para sus casos de uso específicos:

• Intente modificar el proceso para que se ajuste al contenido fuente disponible y a los resultados deseados:
  • Para situaciones en las que haya transcripciones disponibles, cree un flujo de trabajo de Step Functions alternativo para ingerir transcripciones existentes basadas en texto o PDF.
  • En lugar de utilizar Amazon SNS para notificar a los destinatarios por correo electrónico, puede utilizarlo para enviar el resultado a un punto final diferente, como un sitio de colaboración en equipo o al canal de chat del equipo.
• Intente cambiar el parámetro de pila de instrucciones de resumen de CloudFormation proporcionado a Amazon Bedrock para producir resultados específicos para su caso de uso (este es el mensaje de IA generativo):
  • Al resumir la convocatoria de resultados de una empresa, puede hacer que el modelo se centre en posibles oportunidades prometedoras, áreas de preocupación y cosas que debe seguir supervisando.
  • Si está utilizando esto para resumir una conferencia del curso, el modelo podría identificar las próximas tareas, resumir conceptos clave, enumerar hechos y filtrar cualquier pequeña charla de la grabación.
• Para la misma grabación, cree diferentes resúmenes para diferentes audiencias:
  • Los resúmenes de los ingenieros se centran en las decisiones de diseño, los desafíos técnicos y los próximos entregables.
  • Los resúmenes de los gerentes de proyectos se centran en cronogramas, costos, entregables y elementos de acción.
  • Los patrocinadores del proyecto reciben una breve actualización sobre el estado y las escalaciones del proyecto.
  • Para grabaciones más largas, intente generar resúmenes para diferentes niveles de interés y compromiso de tiempo. Por ejemplo, cree una sola oración, un solo párrafo, una sola página o un resumen detallado. Además del mensaje, es posible que desee ajustar el max_tokens_to_sample parámetro para adaptarse a diferentes longitudes de contenido.

Limpiar

Para limpiar la solución, elimine la pila de CloudFormation que creó anteriormente. Tenga en cuenta que eliminar la pila no eliminará el depósito de activos. Si ya no necesita las grabaciones o transcripciones, puede eliminar este depósito por separado. Amazon Transcribe eliminará automáticamente los trabajos de transcripción después de 90 días, pero puede eliminarlos manualmente antes de esa fecha.

Conclusión

En esta publicación, exploramos cómo utilizar Amazon Transcribe y Amazon Bedrock para generar automáticamente resúmenes limpios y concisos de grabaciones de video o audio. Le recomendamos que siga evaluando Amazon Bedrock, Amazon Transcribe y otros servicios de IA de AWS, como Amazon Textil, Traductor de Amazony Reconocimiento de amazonas, para ver cómo pueden ayudarle a alcanzar sus objetivos comerciales.

Acerca de los autores

robar barnes es consultor principal de AWS Professional Services. Trabaja con nuestros clientes para abordar los requisitos de seguridad y cumplimiento a escala en entornos complejos de AWS de múltiples cuentas a través de la automatización.

Jason Stehle es arquitecto de soluciones senior en AWS, con sede en el área de Nueva Inglaterra. Trabaja con los clientes para alinear las capacidades de AWS con sus mayores desafíos comerciales. Fuera del trabajo, pasa su tiempo construyendo cosas y viendo películas de cómics con su familia.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/machine-learning/create-summaries-of-recordings-using-generative-ai-with-amazon-bedrock-and-amazon-transcribe/