Medir el error de un forecast y mejorarlo

Hay empresas que invierten en un sistema de predicción de demanda y después no miden si las predicciones son buenas. Otras miden el error pero no saben interpretarlo. Y algunas obsesionan con reducir el error de un 12% a un 10% sin evaluar si esa mejora justifica la inversión necesaria.

Medir el error de un forecast es imprescindible. Pero lo que importa no es el número en sí: es entender qué significa en el contexto de tu negocio, dónde se concentra el error y si reducirlo tendría un impacto económico suficiente para justificar el esfuerzo.

¿Qué métricas importan para medir el error del forecast (y cuáles no)?

Hay decenas de métricas de error de forecast. En la práctica, con tres es suficiente para tomar decisiones:

MAPE (Mean Absolute Percentage Error)

El más intuitivo: el porcentaje medio de desviación entre lo predicho y lo real. Si el MAPE es del 15%, significa que, de media, la predicción se desvía un 15% de la realidad. Es fácil de comunicar a dirección pero tiene un problema serio: no funciona bien cuando los volúmenes son bajos. Si predices 2 unidades y vendes 3, el error es del 33%, pero la desviación absoluta es solo 1 unidad.

MAE (Mean Absolute Error)

La desviación absoluta media en unidades. Si el MAE es de 50 unidades, significa que, de media, la predicción se desvía 50 unidades arriba o abajo. Es más útil que el MAPE para productos de baja rotación y para calcular el stock de seguridad necesario.

Bias (sesgo)

Indica si el modelo tiende a sobreestimar o subestimar la demanda de forma sistemática. Un MAPE bajo con un bias alto es peligroso: significa que el modelo se equivoca siempre en la misma dirección. Si siempre sobrestima, acumulas stock. Si siempre subestima, tienes roturas recurrentes.

Cómo interpretar el error en contexto

Un MAPE del 20% puede ser excelente o inaceptable según el contexto. No existe un umbral universal de «buen forecast». Lo que importa es:

• Comparación con el método anterior. Si antes de tener el modelo el equipo planificaba con intuición y hojas de cálculo con un error del 35%, un modelo con error del 20% es un avance significativo. Si el método anterior ya daba un 18%, la mejora no justifica el coste del modelo.
• Distribución del error por segmento. El MAPE global puede ser del 15%, pero si en las 20 referencias de mayor volumen es del 25% y en las de menor volumen es del 10%, el impacto real es peor de lo que el número global sugiere. Siempre analiza el error por familia de producto, por zona o por canal.
• Impacto económico del error. Un error del 15% en un producto de margen alto y alto volumen tiene mucho más impacto que un error del 30% en un producto de bajo margen y bajo volumen. Ponderar el error por impacto económico da una visión más realista.
• Horizonte temporal. El error siempre crece con el horizonte de predicción. Un modelo con MAPE del 10% a una semana vista puede tener un MAPE del 30% a un mes vista. Esto es normal y no significa que el modelo sea malo: significa que la incertidumbre aumenta con el tiempo.

Cuándo merece la pena invertir en mejorar el forecast

Mejorar la precisión de un forecast tiene un coste: más datos, modelos más complejos, mantenimiento más exigente. Antes de invertir en mejorar, hazte estas preguntas:

1. 1¿Cuál es el coste del error actual? Si el error del 15% se traduce en 200.000€ de sobre-stock al año, incluso una mejora modesta (bajar al 12%) libera capital significativo. Si el error actual cuesta 10.000€ al año, la mejora no justifica la inversión.
2. 2¿Dónde se concentra el error? Si el 80% del error viene de 5 referencias concretas, puede que la solución no sea un modelo más sofisticado sino revisar los datos de esas 5 referencias: quizá hay roturas de stock no registradas, eventos atípicos o problemas de calidad de datos.
3. 3¿El equipo usa realmente el forecast? Si el equipo de planificación sigue ajustando manualmente el 70% de las predicciones, mejorar el modelo tiene poco impacto. Antes hay que resolver el problema de adopción.
4. 4¿Existen variables externas no incorporadas? A veces el error no se reduce con un modelo más complejo sino con mejores datos: incorporar el calendario de promociones, los precios de materias primas o la cartera de pedidos confirmados puede reducir el error más que cualquier cambio algorítmico.

Cómo montar un proceso de mejora continua

Un forecast no es un proyecto que se entrega y se olvida. Es un sistema vivo que necesita monitorización y ajuste continuo. Un proceso de mejora continua mínimo incluye:

• Medición mensual del error por familia de producto. Automatizada, en un dashboard que el equipo consulte.
• Revisión trimestral de las variables del modelo. ¿Han cambiado los patrones de demanda? ¿Hay nuevos productos que el modelo no cubre? ¿Hay variables externas que no se están incorporando?
• Reentrenamiento periódico. El modelo debe reentrenarse con los datos más recientes. La frecuencia depende del sector: mensual en retail, trimestral en manufactura.
• Feedback del equipo de planificación. Si el equipo ajusta sistemáticamente las predicciones de ciertas referencias, eso es señal de que el modelo tiene un punto ciego. Ese feedback es oro para mejorar el modelo.

Si tu empresa ya tiene un forecast en producción y quieres evaluar si está dando los resultados esperados, o si estás considerando implantar uno por primera vez, en nuestra solución de forecasting de demanda incluimos la definición de métricas de error y el proceso de monitorización como parte estándar del proyecto.

Como usar las metricas de error para mejorar el forecast

Medir el error no es el objetivo; mejorarlo si. Una vez que tienes las metricas basicas (MAPE, MAE, WAPE), el siguiente paso es desglosar el error por dimensiones relevantes: por familia de producto, por canal de venta, por region, y por horizonte temporal. Este desglose revela donde el modelo funciona bien y donde necesita ajustes.

• Error por familia: si el modelo predice bien productos estables pero falla en productos nuevos o estacionales, necesitas un modelo diferente para cada segmento.
• Error por horizonte: la mayoria de modelos son mas precisos a corto plazo (1-2 semanas) que a largo (2-3 meses). Si tu planificacion necesita horizonte largo, necesitas modelos especificos para ese plazo.
• Error por canal: si vendes por e-commerce y tienda fisica, el patron de demanda es diferente. Un modelo unico puede funcionar peor que dos modelos especializados.
• Error en picos: el error durante promociones, Black Friday o navidad suele ser mayor. Mide el error excluyendo estos periodos para saber como funciona tu modelo en condiciones normales.

Cuando el error es suficientemente bueno

El error del forecast nunca sera cero. La pregunta correcta no es cual es el error, sino cual es el coste del error actual y cuanto costaria reducirlo. Si tu error del 15% genera 200.000 euros de sobre-stock al año y reducirlo al 12% costaria un proyecto de 30.000 euros, la inversion se justifica. Si el error del 15% genera 10.000 euros de sobre-stock, el proyecto de mejora no tiene sentido economico.

Un marco util es comparar el error de tu modelo con tres referencias: el error naive (repetir las ventas del año anterior), el error del proceso manual actual (como predecia el equipo antes del modelo), y el error teorico minimo del sector. Si tu modelo ya esta cerca del minimo teorico, invertir en reducir el error tiene retornos decrecientes.

Para mas contexto, puedes consultar la articulo de McKinsey sobre forecasting con IA.