Dado que las iniciativas medioambientales, sociales y de gobernanza (ESG) son cada vez más importantes para las empresas, nuestro cliente, una de las principales cadenas de tiendas de conveniencia de la región de la Gran China, ha estado buscando una solución para reducir el desperdicio de alimentos (actualmente más de $3.5 millones de dólares al año). Hacerlo les permitirá no solo obtener ahorros operativos sustanciales, sino también respaldar los objetivos de sostenibilidad corporativa.

En esta publicación, nos enfocamos en pronosticar la demanda de alimentos recién preparados por parte de las tiendas de conveniencia minoristas. Nuestro cliente vende alimentos listos para comer con una vida útil corta, generalmente de 2 a 3 días. Se enfrentaron a dos desafíos: cómo reducir el desperdicio de alimentos y cómo administrar modelos de pronóstico para más de 10,000 XNUMX SKU y miles de tiendas de manera eficiente y a escala.

Con Pronóstico del Amazonas, y el apoyo de la AWS ProServe equipo y Laboratorio de soluciones de aprendizaje automático de AWS, nuestro cliente, con científicos de datos internos limitados, ahora tiene capacidades de pronóstico de última generación. En unos pocos meses, esta solución de pronóstico les ayudó a reducir el desperdicio de productos en un 37 %, lo que resultó en un ahorro de costos del 22 % en 168 tiendas y tres categorías de mercancías.

Para lograr estos beneficios operativos, implementaron una serie de procesos de mejores prácticas, incluido un ciclo rápido de iteración y prueba de datos, y pruebas paralelas para encontrar combinaciones de datos óptimas. También establecieron canalizaciones de pronóstico y procesamiento de datos, que pueden escalar a miles de tiendas y categorías de productos, y desarrollaron una arquitectura de referencia escalable para usar en futuras extensiones.

El desafío ESG de los alimentos frescos

Además de vender productos sostenibles desde el punto de vista medioambiental, también es importante que la industria minorista se esfuerce por lograr procesos respetuosos con el medio ambiente que minimicen los residuos. La previsión avanzada de inventario mediante el aprendizaje automático (ML) permite a las tiendas minoristas maximizar las ventas y minimizar el desperdicio a través de una gestión de inventario y una rotación más eficaces. El inventario que no se puede vender es un problema para las cadenas de tiendas de conveniencia: genera pérdidas financieras y promueve efectos ambientales negativos a través del uso excesivo de insumos de energía y procesos de producción ineficientes. Y debido a los grandes volúmenes, los alimentos frescos a corto plazo pueden desempeñar un papel importante en los resultados financieros y de sostenibilidad.

Además de tener una vida útil corta, los desafíos adicionales de pronóstico de demanda para alimentos frescos incluyen una rápida rotación, frecuentes lanzamientos de nuevos productos y altos volúmenes de SKU. Específicamente:

• En comparación con otras categorías, los productos perecederos a corto plazo deben venderse en un período de tiempo corto, de lo contrario caducan y se desechan. Por lo tanto, la previsión precisa es más importante que para los artículos que se pueden almacenar y vender durante un período de tiempo más largo.
• Los lanzamientos de nuevos productos son frecuentes, lo que hace que la previsión sea más desafiante a nivel de SKU (el problema del arranque en frío).
• Una gran cantidad de elementos puede causar problemas de gestión de modelos para algoritmos tradicionales como ARIMA, que se configuran para cada elemento. Será necesario mantener muchos modelos, lo cual es costoso y difícil de escalar.

Previsión de inventario

Amazon Forecast es un servicio de IA/ML completamente administrado de AWS e incluye algoritmos estadísticos y de aprendizaje profundo que se basan en más de 20 años de experiencia en pronósticos. Con el modelado de conjuntos a nivel de elemento y la optimización automática de hiperparámetros del modelo, proporciona pronósticos que son hasta un 40 % más precisos que los métodos tradicionales por sí solos. Además, funciones como el reentrenamiento de predictores pueden reducir el tiempo y el costo de entrenamiento hasta en un 50 %.

Para optimizar la previsión de inventario, analizamos los principales impulsores de la demanda. Incluso dentro de la categoría de alimentos frescos, hay artículos que son más populares (con una mayor rotación de inventario) y artículos que se venden más lentamente. Al separar los elementos populares de los impopulares y los predictores de entrenamiento, descubrimos que los predictores pueden ajustarse mejor al conjunto de datos y mejorar la precisión del modelo con diferentes distribuciones estadísticas. Además, debido a que Forecast proporciona pronósticos probabilísticos basados ​​en cuantiles seleccionados por el cliente, configuramos cuantiles de predicción basados ​​en las fechas de vencimiento y la rentabilidad de los artículos.

Para implementar el pronóstico de la demanda que mejore la sustentabilidad, también consideramos las propiedades específicas de la industria:

• Plazos de entrega cortos
• Frecuencias de alto orden
• Productos alternativos y sustitutos
• Psicología del consumidor (a menudo, es más probable que los consumidores realicen una compra si tienen un conjunto diverso de productos para elegir)

Para equilibrar la diversidad de estantes con el desperdicio de inventario, no solo producimos pronósticos de demanda diarios, sino que también realizamos análisis hipotéticos para optimizar la promoción de artículos no vendidos antes de que caduquen.

Pudimos incorporar estas consideraciones y abordar los requisitos de nuestros clientes con Forecast. En la siguiente sección, explicamos con más detalle cómo se ha creado la solución para el cliente.

Resumen de la solución

Para entrenar un predictor, los datos de entrenamiento se incorporan al almacenamiento de datos desde una fuente de datos, utilizando uno de los formatos compatibles por Pronóstico. Servicio de almacenamiento simple de Amazon (Amazon S3) es un servicio de almacenamiento de objetos que ofrece escalabilidad, disponibilidad de datos, seguridad y rendimiento líderes en la industria. En la fase de ingestión, transformamos los datos de nuestra fuente al formato de conjunto de datos de Forecast. Forecast utiliza tres tipos de datos: serie temporal objetivo (TTS), que es obligatoria, y serie temporal relacionada (RTS) y metadatos de elementos (IM), ambos opcionales.

Comenzamos con los SKU más desperdiciados en las tiendas que tenían más desperdicio. Para pronosticar la demanda diaria de cada tienda, primero comenzamos con series de tiempo (ingresos, inventarios, promociones) y luego ajustamos nuestro enfoque en función de las propiedades de la tienda, como si es una franquicia o una tienda propia, el tipo de tienda, la disponibilidad de baños, la tienda. tamaño (pequeño o grande) y antigüedad en la tienda. También utilizamos el conocimiento de la industria, como los días festivos locales, las promociones, el clima y el tráfico diario. Nuestro conjunto de datos TTS constaba de marca de tiempo, ID de artículo y demanda; RTS constaba de marca de tiempo, ID de artículo, descuento, inventario y clima; y el conjunto de datos de IM constaba de ID de artículo, categoría e infraestructuras de tienda. Para cuantificar la importancia de estas características en nuestros pronósticos, usamos explicabilidad: una característica integrada de Pronóstico que mide el impacto relativo de diferentes atributos en los valores de pronóstico.

Se debe crear un conjunto de datos y asociarlo con un grupo de conjuntos de datos para entrenar el predictor. Al crear un predictor, Forecast selecciona automáticamente los algoritmos correctos, ajusta los hiperparámetros y realiza modelos de conjunto. En un hallazgo interesante de este caso, usamos datos cruzados de COVID-19 (de 2018 a 2021) para entrenar el modelo y descubrimos que no necesitábamos agregar otras características de COVID-19, como la cantidad de casos diarios confirmados. Los modelos de redes neuronales profundas pueden aprender directamente de los ingresos diarios.

El siguiente diagrama ilustra la arquitectura de la solución.

Nuestro cliente mantiene sus registros de transacciones en Servicio de base de datos relacional de Amazon (Amazon RDS). También usamos Pegamento AWS para realizar ETL (extracción, transformación y carga), leer datos que cubren los SKU de destino en un intervalo de tiempo significativo y cargar datos en Amazon S3 con un prefijo indicado. Una vez que los datos se cargan en Amazon S3, se activa un evento de S3 AWS Lambda e invoca Funciones de paso de AWS como herramienta de orquestación.

En Step Functions, preparamos conjuntos de datos que incluyen series temporales objetivo, series temporales relacionadas y metadatos de elementos. Usamos un trabajo de AWS Glue para procesar los datos en un depósito S3. Luego podemos llamar a una API de pronóstico para crear un grupo de conjuntos de datos e importar datos del depósito S3 procesado. Cuando esos conjuntos de datos estén listos, podemos comenzar a entrenar el predictor.

Para entrenar un predictor, Forecast ensemble modela seis algoritmos diferentes y aplica la combinación óptima de algoritmos a cada serie temporal en su conjunto de datos. usamos el AutoPredictor API, a la que también se puede acceder a través de la consola Forecast.

Una vez creados los predictores, evaluamos sus métricas de calidad en el panel de predictores. Puede elegir el nombre del predictor para examinar resultados detallados como la pérdida cuantil ponderada (wQL), el error porcentual absoluto ponderado (WAPE), el error escalado absoluto medio (MASE), el error cuadrático medio (RMSE) y el error porcentual absoluto medio (MAPE). Para una evaluación y análisis personalizados, también puede exportar el valores pronosticados para evaluar las métricas de calidad del predictor. En este caso, usamos la métrica original del cliente (MAPE) para producir una comparación en paralelo con el modelo heredado del cliente (ARIMA) y asegurarnos de que el modelo de pronóstico produjera mejores resultados (un MAPE más bajo). Para futuros análisis de calidad del modelo, recomendamos que el cliente use RMSE, que explica mejor el hecho de que diferentes artículos tienen diferentes volúmenes de ventas.

Después de que nuestro predictor estuvo listo, generamos resultados de pronóstico para cada artículo (item_id) y dimensión (store_id) indicado en nuestro conjunto de datos de serie temporal objetivo. Pronóstico de lugares da como resultado un depósito S3 con el prefijo S3 como destino.

Los resultados de la previsión se generan en el depósito de S3, lo que activa una función Lambda y escribe el resultado de la previsión en Aurora amazónica para que el usuario final consulte. Para proporcionar el resultado de la previsión al lado del cliente, utilizamos Puerta de enlace API de Amazon como punto de entrada y consultar a Aurora a través de la función Lambda.

Para automatizar este proceso, usamos Step Functions y también mantenemos un Amazon SageMaker cuaderno para que los científicos de datos presenten y prueben diferentes variaciones de datos en el conjunto de datos de entrenamiento para encontrar combinaciones de datos óptimas.

Resumen y próximos pasos

En esta publicación, mostramos cómo usar Forecast para minimizar el desperdicio a través de un pronóstico de inventario más efectivo de productos alimenticios con una vida útil corta. La aplicación de pronósticos basados ​​en ML ayudó a nuestro cliente minorista a reducir el desperdicio de productos en un 37 % y los costos en un 22 % en 168 tiendas y tres categorías de mercancías. Además, la arquitectura de referencia puede admitir la escalabilidad a miles de tiendas y categorías de productos. Estos esfuerzos no solo mejoraron los resultados financieros, sino que también demostraron su compromiso con prácticas alimentarias más sostenibles y respetuosas con el medio ambiente. Juntos, estos logros ayudaron a nuestro cliente a progresar hacia sus iniciativas ESG.

Lo siguiente para el equipo es usar el Y si el análisis capacidades de Forecast para probar aún más el impacto en la demanda, agregar subcategorías para el pronóstico de la demanda diaria y escalar a más tiendas. Además, el equipo seguirá iterando el modelo para seguir reduciendo el desperdicio de alimentos y optimizar los procesos para ofrecer resultados más sostenibles y respetuosos con el medio ambiente.

Para utilizar Forecast para mejorar la previsión de la demanda minorista y respaldar mejores resultados medioambientales, puede acceder al servicio a través de Consola de administración de AWS, o a través de nuestro Formación en la nube de AWSorientación de solución basada en GitHub. Para obtener más información sobre cómo usar Forecast, consulte Recursos de previsión de Amazon.

Acerca de los autores

Josie Cheng es un Go-To-Market de HKT AI/ML en AWS. Su enfoque actual es la transformación empresarial en el comercio minorista y CPG a través de datos y ML para impulsar un tremendo crecimiento empresarial. Antes de unirse a AWS, Josie trabajó para Amazon Retail y otras empresas de Internet de China y EE. UU. como Gerente de productos de crecimiento.

Ray Wang es arquitecto de soluciones en AWS. Con 8 años de experiencia en la industria de TI, Ray se dedica a crear soluciones modernas en la nube, especialmente en NoSQL, big data y aprendizaje automático. Como un emprendedor hambriento, aprobó los 12 certificados de AWS para hacer que su campo técnico no solo sea profundo sino amplio. Le encanta leer y ver películas de ciencia ficción en su tiempo libre.

shanger lin es científico de datos y consultor en AWS, aprovechando el aprendizaje automático, la computación en la nube y la estrategia de datos para permitir a los clientes la transformación digital y extraer el impacto de los datos.

dan sinnreich es gerente de producto sénior de Amazon Forecast. Su enfoque es ayudar a las empresas a tomar mejores decisiones comerciales con pronósticos basados ​​en ML. Fuera del trabajo, se le puede encontrar jugando hockey, leyendo ciencia ficción y buceando.