Ошибки прогнозирования

В прошлой статье был представлен теоретический материал по ошибкам прогноза.
Какие виды бывают, как их рассчитывать, на что обращать внимание.
Сейчас же я хочу показать на практике, как я их применяю всю эту теорию на примере работы с построением прогноза в системе прогнозирования продаж Visual Forecast. Потому как в процессе написания статьи я ознакомился со всем многообразием информации и рекомендаций по использованию данных метрик, что не хочется повторяться.

Итак, как уже было сказано ранее — основная ошибка, которую используют большинство экспертов — RMSE.

Причины тут, на мой взгляд, две:

1. Ее можно смело использовать в формулах управления страховым запасом.
2. Она закрывает большинство целей прогнозиста.

MSE, на мой взгляд, менее суровая ошибка. И так она не берет в расчет квадрат отклонения прогноза — дает сбой во времена разного рода всплесков или падений продаж, которые бывают в жизни очень часто.

Логика моего продукта (Visual Forecast) состоит в том, чтобы соединить мощный мат.аппарат с визуализацией информации, чтобы можно было поработать с каждой конкретной SKU отдельно и сделать качественный долгосрочный прогноз на ближайшие несколько месяцев. В данной версии программы мы делаем прогноз на 7 месяцев вперед с помесячной разбивкой.

Стоит напомнить, что мы берем первые 2 года продаж, пытаемся спрогнозировать третий год более чем 20 методами прогнозирования, вычисляем все ошибки прогноза по каждому методу и выбираем лучший из них (выделен красной стрелочкой) на основании именно ошибки RMSE.

В данном примере это средневзвешенный метод с учетом сезонности и тренда.

Далее система берет уже 3 года продаж и выстраивает прогноз на нужную нам перспективу — ближайшие 7 месяцев.

На что еще я обращаю внимание? Конечно же на MAPE. Это уже относительная ошибка и я могу оценить ее масштаб в процентах.

Далее MPE. Очень важный момент: именно эта метрика показывает нам, в какую сторону смещен прогноз от факта. Если мы прогнозируем больше, чем продаем — возникает избыток продукции. В случае со скоропортом — это прямые убытки компании. В остальных случаях — это замороженные деньги, которые сейчас стоят достаточно дорого.

Хотя, касательно замороженных средств: с текущим уровнем инфляции и постоянно дешевеющим рублем — затарка по хорошим ценам приветствуется бизнесом, потому как реализовать данный товар можно будет с дополнительной наценкой.

Но гораздо хуже — когда прогноз занижен. Мир сейчас находится в той стадии развития, когда сервис занимает одно из главенствующих мест в репутации компании. Не будет у компании, производящией телевизоры, каких-то транзисторов, скажем, целый месяц — на полках магазинов будет стоять продукция конкурирующих фирм. Это прямые убытки как в финансовом плане, так и в репутационном. Не говоря уже о потере лояльности клиента.

Так вот MPE нам подсказывает, что в данном случае — прогноз системы несколько завышен. К сожалению, трактовать процент завышения прямым способом невозможно. Лишь косвенно. Но даже графически заметно, что черная штриховая линия в третьем разделе (прогноз) зачастую выше факта (оранжевая линия).

Соответственно прогноз на перспективу тоже, вероятно, завышен. Поэтому сотрудник вручную понизил прогноз на 15% (экспертно), чтобы не быть с излишками продукции после поступления заказа на склад.

В завершении хочу дать еще один вопрос “на подумать”: а насколько нам важно иметь качественный прогноз с помесячной разбивкой в данный момент? Продукция поступит к нам через примерно 5 месяцев, через месяц мы будем делать еще один заказ. Ведь гораздо важнее для закупщика будет оперировать суммарной ошибкой прогноза на весь горизонт планирования.

Зеленым на скриншоте выделил общую ошибку системы — 9%. Это значит, что в случае 100% доверия прогноза мы “подтаримся” на 9%. А что это в физическом эквиваленте?

7 месяцев это 100%. Соответственно — грубо 0.7 месяца это и есть наша ошибка. Т.е. мы “подтаримся” на дополнительные 3 недели. Однако выше я писал, что сотрудник вручную скорректировал свой прогноз на 15% ниже прогноза системы, тем самым существенно снизил потенциальные излишки товара после оприходования заказа на склад.

Итого: ошибки прогнозирования можно и нужно использовать менеджеру отдела закупок в своей ежедневной работе. Варианты работы с ними я описал, однако ситуаций в жизни бывает великое множество — иногда нужно спланировать какую-либо акцию или продажи сезонного товара. Или же количество SKU есть несколько десятков тысяч и нет никакой физической возможности визуализировать информацию и вручную что-то корректировать. Для таких случаев разработаны совершенно другие механизмы.

Удачных прогнозов вам!