План-факт: эксперт против математики. Кто кого?
Идея написать данную статью у меня возникла после прочтения дискуссии в одном из многочисленных тематических чатов Совета профессионалов по цепям поставок в Телеграм.
Там участники делятся своим опытом и инструментарием касательно планирования и прогнозирования. Решил вставить свои 5 копеек, потому как опыт в этом деле имеется достаточный.
А вот насколько релевантный он для текущего состояния экономики и ситуации в мире — оценим в комментариях на Дзене!
Они очень ценны, поэтому не забываем подписываться и комментировать.
Ну что, поехали!
Итак, сперва разберемся, что же такое план-факт?
План-фактный анализ — это сопоставление плановых и фактических показателей фирмы за определенный период. Этот инструмент позволяет оценить эффективность процесса и принять меры в случае серьезного отклонения значений.
В данной статье мы рассмотрим план-факт качества прогнозирования. Хотя, по сути, это является ничем иным как план-фактом продаж, ведь сравнивать мы будем прогноз с фактическими продажами.
Чтобы лучше понять мой опыт по прогнозированию продаж — рекомендую посмотреть несколько роликов, в которых достаточно подробно описан интерфейс и функционал системы прогнозирования Visual Forecast. Именно это решение я для себя избрал для работы с номенклатурой до нескольких тысяч SKU и с длинными сроками реакции (работа с Китаем).
Если нет времени — можно ограничиться статьей.
Если вообще не хочется ничего читать/смотреть — сформулирую свой опыт в паре предложений: для прогнозирования и планирования продаж и закупок на длинных сроках поставки я всегда использую смесь хорошего мат.аппарата и визуализации данных с возможностью корректировки на основании экспертного мнения.
Доказано — результат очень хороший, но методика подходит не всем!
На этом рекламно-блогерская часть завершена. Теперь строго по делу.
В данной статье мы не будем рассматривать сам процесс прогнозирования. Точнее затронем лишь его небольшую часть — учет качества прогнозирования прошлых периодов.
Как вы уже заметили в роликах, в процессе построения прогноза системой Visual Forecast в Excel пользователь имеет возможность наблюдать за многочисленными метриками и показателями: тренд, уровень сервиса, доля продаж в сети, тенденция, разнообразные ошибки прогнозирования (MAPE, RMSE, MSE и т.д.), сравнение по периодам, общая ошибка прогнозирования и многое другое.
Причем часть метрик изменяется в процессе корректировки прогноза на листе пользователя. Это очень удобно — использовать визуальное прогнозирование, которое совмещено с добротным математическим аппаратом.
Но статья не об этом: после фиксация прогноза в системе — он должен экспортироваться в ERP (1С, SAP и т.д.).
Далее — следует расчет заказа и размещение оного у поставщика.
И вот тут начинается самое интересное: фактически, имея прогноз с помесячной разбивкой на ближайшие полгода — менеджеру по закупкам не составит труда грамотно рассчитать заказ.
Представим 2 принципиально разных варианта:
1. Прогнозирующий специалист целиком и полностью доверился прогнозу системы. Т.е. предложил закупщикам разместить заказ строго согласно математике. Ежели так, зная срок реакции, закупки просто размещают заказ на основании запланированного потребления. Ниже выделил красным прогноз продаж с помесячной разбивкой на ближайший период (7 месяцев). Так как есть разбивка — можно рассчитать стандартное отклонение, таким образом страховой запас обретет под собой некую основу.
Но насколько это правильный метод — не знаю. Он лучше, чем ничего, но, по-моему опыту, работает далеко не всегда идеально.
2. Прогнозист не верит математике на 100% и решает использовать экспертное мнение. Зная жизненный цикл продукта, рыночную конъюнктуру, запланированные акции и прочие вещи — он обладает гораздо более значимыми данными для построения качественного прогноза. На скриншоте ниже я указал на экспертный прогноз, который достаточно сильно противоречит математике (о чем говорят многочисленные индикаторы).
А вот теперь представим — возник конфликт интересов. Кто-то боится привезти товар на склад под завышенные прогнозы, кто-то боится ситуации out of stock, т.е. дефицита продукции. А при сроке поставки в 4-5 месяцев — наш страховой запас иссякнет за пару месяцев и дальше будет зияющая дыра на складе…
И тут мы приблизились к сути. А как оценить, кто прав? Сразу хочу процитировать великого Питера Друкера: “Вы не можете управлять тем, что нельзя измерить”.
Но постойте, ведь прогноз системы имеет четкие метрики оценки: RMSE, да и остальные ошибки прогнозирования.
А как же оценить навыки прогнозирования эксперта?
Достаточно просто! Для этого нужно вести статистику и регулярно оценивать качество прогнозирования конкретного менеджера, кто управляет планированием.
Ниже на скриншоте я показал, каким образом это делал я — просто выводил среднюю и средневзвешенную ошибку менеджера за последние несколько прогнозов.
Методика расчета может быть простой и сложной.
Начнем с простой, а сложные вы придумаете себе сами: ежемесячно эксперт дает прогноз на ближайшие полгода в штуках по каждому SKU.
Ежемесячно мы смотрим назад на последние полгода и рассчитываем ошибку на основе его прогноза полгода назад, ведь факт продаж у нас уже имеется. Период можно взять и другой, это лишь пример.
Сохраняя всю информацию в базе данных — мы всегда можем вывести ее на экран и сравнить с тем, что предлагает математика. И если эксперт дает прогноз из месяца в месяц с точностью выше 90%, а математика всячески отстает от эксперта, предлагая прогноз с огромным доверительным интервалом — решение будет очевидным, доверяй больше эксперту.
Пока чинишь математику! Или обучаешь ее, ведь большинство данных можно учесть в мат.модели, было бы желание этим заниматься.
Также можно использовать ошибку прогноза в формуле расчета страхового запаса:
СЗ = к * RMSE * СП ,
где к — коэффициент страхового запаса, RMSE — ошибка прогноза, СП — срок поставки.
Проблема экспертного прогнозирования — человеческий фактор. Нехватка времени, плохое настроение, забывчивость, заблуждение, предрассудки, ошибка расчета и т.д. А математика всегда будет действовать по алгоритму.
Подводя к финалу: всю эту аналитику невозможно представить без качественной базы данных всех решений, индикаторов, метрик за длительную историю. Именно поэтому я всегда рекомендую экспортировать результаты слепков системы для последующей аналитики.
Ниже небольшой отрывок из базы данных по одной позиции. Хотя столбцов в этом листе с данными гораздо больше, чем могу вам тут показать.
Располагая такой базой данных мы всегда можем вернуться в любую точку временного ряда и посмотреть, кто и почему сделал то или иное решение. Регулярный план-факт анализ продаж, сервиса, ошибок прогнозирования и т.д. — must have. Как бы я не любил англицизмы, лучшей фразы подобрать не могу.
Сделать план-фактный анализ — не составит труда, если есть достаточно информации.
И результат этого анализа как раз и будет основой для того, чтобы понять:
Правильным ли путем мы идем?
Где наши основные потери?
Возможно для каких-то ассортиментных групп нужно применять особенные подходы в планировании?
Кого из экспертов нужно бы “прокачать” по продуктовому менеджменту и прогнозированию?
Правильно ли мы умеем прогнозировать акции, сезонность, цикличность?
Всегда можно вывести рейтинг прогнозистов, рейтинг формул прогнозирования и прочую статистику. Элементарно — рейтинг прогнозирования каждой номенклатурной группы! Ведь чем выше качество прогнозирования — тем меньше страховой запас нам нужен! А если экономика направления оставляет желать лучшего — тратить деньги на лишние запасы явно не будет лучшим решением.
Всю эту информацию можно хранить как в Экселе, так и в ERP, кому как удобно. Главное — уметь извлекать из нее пользу.
А теперь предлагаю вернуться в момент, когда мы стояли на распутье — верить математике или эксперту? А что, если математика и эксперт дали примерно один и тот же прогноз? Вероятно — этому прогнозу можно доверять с удвоенным оптимизмом.
Хотя мы решили эту задачу достаточно примитивным способом — прогнозы математики накладывались на экспертные и проверялись третьим лицом (начальником отдела закупок или его заместителем). Хотя бы по категориям A и B. Третье мнение позволяло добиваться улучшения качества прогнозирования, доводя уровень сервиса до 94-98% при работе с Китаем и средними запасами 2.5 месяца на складах. При сроке реакции в 5 месяцев — считаю, результат вполне неплохой!
Но были и очень интересные случаи, когда во время очередного план-факта обнаруживалось, что прогноз на январь-июнь категорийный менеджер давал, скажем, 6 000 единиц продукции, а через месяц, на февраль-июль — уже 12 000 единиц! Причем — товар был без ярко выраженной сезонности. Просто “художник так видел”. Такие случаи как раз и давали усомниться планеру в качестве сверстанного плана продаж… Но это уже совсем другая история.
На этом хочу закончить свою статью. Она получилась достаточно сумбурной, возможно потребуется продолжение.
Надеюсь был полезен и хоть что-то из моего опыта пригодится и вам. Точных вам прогнозов!
Буду благодарен за подписки и комментарии, очень интересно понять, какой инструментарий у вас, насколько все автоматизировано, какое качество прогнозирования на длинных сроках поставки удалось вам достичь?
Интересные статьи на Дзен-канале, где можно вести дискуссию
