Современные компании проходят этап цифровой трансформации, которая диктует свои правила и требует формирования аналитических отделов. Именно эти структуры выполняют функции главных помощников в ведении бизнеса. Ценная информация о компании находится в руках аналитиков, программистов, модельных разработчиков, дата-инженеров и дата-сайентистов. Информационные данные для этих специалистов превращаются в своеобразную базу для разработки эффективной стратегии. Если ваша организация пока ещё не имеет собственного аналитического отдела, подумайте о его создании. Если такое подразделение уже существует, проверьте необходимость наличия в нём функции управления модельными рисками.

Сфера деятельности аналитического отдела

Главная задача аналитического отдела – давать справедливую оценку финансовому состоянию вашей компании. Также специалисты подразделения проверяют реализацию плановых задач по достижению намеченного уровня прибыли, рентабельность и ликвидность товаров, объёмы продаж продукции. В компетенции аналитического подразделения также находится:

  • прогнозирование финансовых параметров;

  • оценка вероятных инвестиционных программ;

  • управление рисками.

Современные компании вкладывают миллиарды долларов в поиск и привлечение компетентных аналитиков, которые смогут эффективно использовать накопленную информацию о клиентах и подвергать её анализу, задействуя специальные модели и алгоритмы. Работодатели в поиске профессиональных сотрудников в аналитические отделы рассматривают и перечень полезных инструментов для качественной обработки зеттабайтов входящих данных. Такая деятельность обусловлена тем, что сейчас люди, покупающие товар или заказывающие какую-либо услугу, используют множество каналов коммуникации. Это приводит к увеличению объёмов информации, а также развитию инструментов и технологий для её эффективной обработки.

Определение модельного риска

В современном мире многие компании стараются принимать решение на основании методов машинного обучения. Особенность машинного обучения заключается в том, что оно не предусматривает формализации математической базы для принятия конкретного решения (в отличие от стандартных статистических способов). Решение, сформулированное алгоритмом, начинают применять на практике после успешной апробации на тестовой выборке. Это становится негативным фактором, обуславливающим бесконтрольное использование математических моделей в современной жизни. Их количество увеличивается в геометрической прогрессии, в результате чего возникает закономерный вопрос о необходимости управления ими.

Проблемная тема впервые была затронута финансовыми институтами, более полувека определяющими кредитоспособность заёмщиков с помощью методов машинного обучения. Официальный документ ФРС США SR11/7 под названием "Supervisory Guidance on Model Risk Management" ("Регуляторные указания по управлению риском") утверждает, что количество задействуемых финансовыми институтами моделей увеличивается постоянно. На этом фоне наблюдается увеличение финансовых расходов на разработку моделей, их валидацию, управление и внедрение. Много денег уходит на устранение последствий практического применения этих моделей (в том числе – на компенсацию финансовых расходов). Результаты должны подвергаться тщательному анализу с помощью механизмов управления модельными рисками в целях дальнейшего предотвращения подобных ситуаций. Рассмотрим определение модели для регулятора.

Модель для регулятора – это численная методика, подход или система, в рамках которой используются экономические, статистические, математические или финансовые теории (предположения), позволяющие перерабатывать входящую информацию в количественные параметры.

Регуляторная модель состоит из 3-х элементов:

  • входная информация (в том числе предположения);

  • расчётные критерии, с помощью которых входные информационные данные переформатируются в количественные оценки;

  • отчётность, преобразующая оценочные критерии в полезные сведения, становящиеся в свою очередь базой для принятия решений.

Модель для регулятора предусматривает использование количественных подходов, содержащих входную информацию, частично или полностью опирающуюся на экспертное мнение или качественную оценку. При этом предполагается, что результатом данной модели становится количественная оценка.

Модель для регулятора выполняет очень важную функцию, упрощая представления о предстоящем мире. Данный процесс очень важен ввиду сложных природных закономерностей. Его целью является акцентирование внимания на важнейшем аспекте закономерности в рамках выполнения стоящей перед компанией задачи. Вместе с тем нужно брать во внимание несовершенство моделей и задействовать практическое применение надлежащих параметров их качества.

Применение любой модели на практике влечёт за собой определённые модельные риски. Они обуславливаются последствиями принятых решений, которые базировались на результатах моделей с неверной интерпретацией. Модельный риск зачастую становится фактором, провоцирующим финансовые потери, неправильную стратегию, ошибки в решениях и даже нанесение вреда репутации.

Появление модельного риска обуславливается 2-мя причинами.

  1. Наличие фундаментальных ошибок. По отношению к сформулированной задаче модель может выполнять совершенно неверные расчёты, в рамках которых используются численные процедуры, теория, выбор данных, оценивание и интеграция в информационные системы. Ошибки происходят на любой стадии, будь-то разработка или интеграция модели. Итоговое качество модели, опирающееся на качественные критерии входных данных, зависит от всех сформулированных предположений и упрощений.

  2. Использование хорошей модели не по назначению. Бывает так, что эффективная модель, помогающая достичь точных оценок в рамках сформулированной задачи, провоцирует появление высокого модельного риска. Происходит это потому, что её используют не там, где нужно. Дело в том, что все модели являются примером упрощённой версии реальности. Сама реальность при этом может служить доказательством безосновательности допущений, сделанных при формулировке данной модели или же не оправдывать ожидания вовсе. Некоторые компании намеренно занимают новые ниши на рынке или направляют туда новую продукцию. Есть и обратная ситуация, когда такой выход осуществляется неосознанно, под влиянием изменений в поведении потребителя или на самом рынке. Чтобы использовать модель по назначению, принимающие решения люди должны осознавать наличие у неё ограничений.

Особенности управления модельным риском

Хороший руководитель, правильно выстраивающий культуру управления рисками в компании, вполне может доверять своим специалистам. Однако в плане доверия к используемым моделям не всё так однозначно. Увеличение уровня модельного риска происходит по мере усложнения самих моделей, расширения сферы их применения, возрастания степени неопределённости и вероятных эффектов от использования модели. Управление модельными рисками начинают после обнаружения их источников и расчётов ожидаемых финансовых убытков.

В процессе управления модельными рисками лучше использовать принцип так называемой эффективной проверки. Она представляет собой критический взгляд на цели информированных лиц, имеющих возможность не только обнаруживать существующие ограничения с предположениями, но и предпринимать меры для их устранения, вносить требуемые изменения. На эффективность проверки влияет комбинация компетенций, мотиваций и сфер влияния. Если проверка идёт отдельно от процедуры разработки моделей, мотивация будет интенсивнее. Также на усиление мотивации влияет поддержка проверки необходимой корпоративной культурой и мотивационными схемами.

Управлять модельными рисками можно и с помощью иных инструментов:

  • регулярный и систематический контроль качества моделей;

  • лимиты на эксплуатацию моделей;

  • проверка моделей через конкретный промежуток времени;

  • использование вместе с результатами модели иных сведений и аналитической информации.

Абсолютной страховки от модельных рисков нет, даже если выполнение работы возложено на ответственных и профессиональных специалистов, а валидация выполняется стабильно и правильно.

Чек-лист отдела

Эффективность и необходимость управления модельными рисками можно проверить с помощью следующей анкеты. Варианты ответов на вопросы: да, нет, не знаю.

  1. Использует ли ваша компания в своей работе модели для автоматизации бизнес-процессов, формирования цен, андеррайтинга и управления модельными рисками? На данном этапе опроса следует выяснить, применяет ли организация какие-либо модели и с какой целью?

  2. Выстроен ли в вашей компании процесс для управления моделями?

  3. Используете ли вы для оценки модели особые алгоритмы? Можете ли быстро определить те модели, которые не приносят ожидаемого эффекта?

  4. Известны ли вам входные данные, используемые для модели?

  5. Знаете ли вы перечень моделей, требующих особого внимания со стороны руководителя компании?

  6. Выполняет ли ваша организация количественную валидацию используемых моделей? Подвергаете ли вы свои модели тестированию с применением количественных алгоритмов проверки качества,

  7. Выполняет ли компания качественную валидацию используемых моделей? Под качественной валидацией здесь подразумевается оценка экспертов. С её помощью можно увидеть степень существенности модели. Проводить качественную валидацию можно как отдельно, так и в комплексе с количественной, поскольку она хорошо дополняет её своими результатами. Если же существуют определённые сложности по проведению сразу двух типов валидации, можете ограничиться выполнением только количественного варианта.

  8. Есть ли у вас информация о существовании взаимосвязи одной модели с другой. Можете ли вы сказать, как влияют результаты одной модели на вторую, третью и последующие? Получается ли у вас быстро и точно построить диаграмму связей между моделями?

  9. Ведёте ли вы учёт недостатков и клиентских запросов на изменения моделей в вашей организации? Многие пользователи во время работы с моделью замечают, что она ведёт себя не так, как это необходимо. Ими принимается решение внести в модель изменения, однако обнаруженный недостаток нигде не фиксируется. В дальнейшем это провоцирует сложности с контролем прогресса. Определить параметры, с которыми модель взаимодействует эффективнее всего, не представляется возможным. В целях успешного проведения аудита информация о моделях должна фиксироваться. Благодаря этому люди, использующие данную модель, смогут узнать о предстоящих или уже совершённых изменениях в ней. Система логирования изменений имеет функцию своевременной фиксации недостатков. К примеру, после проведения валидационного теста из него пропадает один из параметров. Система логирования сразу реагирует на этот факт, фиксируя просадку параметра по сравнению с предыдущими значениями. Отмеченный недостаток сразу же попадает в поле зрения ответственного лица, который в силу своей компетенции поручает конкретному сотруднику решить возникшую проблему. Система наподобие вышеописанной уже существует у SAS Model Risk Management.

  10. Формируется ли в системе отчётность, удовлетворяющая нормативным требованиям управления рисками? Прежде, чем использовать ту или иную модель в промышленных масштабах, её нужно оценить. В промышленное использование модель поступает лишь после прохождения процедуры качественной и количественной валидации. Здесь модель периодически проходит проверки и тестирования, которые помогают проверить критерии её эффективности. Пользователи могут увидеть поведение модели на информационных данных, отслеживать проседающие показатели и принимать решение об их дальнейшем использовании в работе, организации повторной тренировки или замене проблемного критерия новой версией модели. Проводимые тесты помогают сформировать актуальные отчёты. В рамках SAS Model Risk Management этот этап также присутствует. Вы, как руководитель компании, должны понимать, что совместно со своими сотрудниками тратите ценное время на разработку модели, её апробацию и тестирование, а также формирование отчётов для вышестоящего руководства (или их получения от своих работников). Эти же временные ресурсы можно было бы потратить с большей пользой, работая над улучшением подходов и алгоритмов решения задач.

  11. Известно ли вам, кто пользуется вашими моделями, и в каких целях их применяют? Некоторые руководители совсем не знакомы с моделями, используемыми в их компании. К примеру, бизнес-клиент просит у аналитического отдела сформировать новую модель. Разработчики начинают над ней трудиться. Спустя некоторое время руководитель отдела замечает, что в подразделении кредитных рисков, из которого приходил бизнес-клиент, появилась новая модель со странной постановкой задачи. Естественно, он попытается узнать в подразделении, для каких именно целей эта модель используется. Это приведёт к неэффективным затратам времени, которое руководитель мог бы потратить на более полезные и существенные занятия. Именно поэтому организация должна располагать чётким перечнем всех своих моделей и целей их использования.

  12. Могут ли все 4 защитные линии, обеспечивающие качество модели, работать совместно? Четыре линии защиты – это особая модель организационной структуры, предусматривающая чёткое разделение всех обязанностей и прав внутри компании. В рамках данной модели существуют отделы моделирования, которые периодически подвергаются проверкам со стороны валидаторов и риск-менеджеров. Аудиторы оценивают качество модели и проверяют весь процесс работы. Также в их компетенции находится оценивание той оценки, которую дали модели валидаторы. При обнаружении проблем они рекомендуют пути их решения и исправления. Если к дате следующей проверки рекомендованные правки не вносятся, аудитор выписывает штраф. Каждая линия защиты отчитывается перед советом директоров. Совет использует специальную установку риск-аппетитов, относя ту или иную модель к категории критических, менее критических и не критических. Информация об уровне риск-аппетитов направляется в риск-менеджмент. Он, в свою очередь, разрабатывает план действий, направленных на необходимое усовершенствование модели. Совет директоров работает над выстраиванием взаимодействия между всеми отчётами. Аналитические отделы используют в своей работе все 4 защитных линии, поскольку написание модели без учёта её качественной оценки и контроля над процессом разработки может спровоцировать незапланированные убытки в компании. Проверьте, правильно ли в вашей компании выстроена организационная структура? Все ли сотрудники ознакомлены со своей областью ответственности? Осуществляется ли валидация модели по принципу независимости?

Результаты анкетирования:

Ответы на поставленные вопросы помогут определить, на каком уровне управления модельными рисками находится ваша организация? Благодаря этому вы сможете принять эффективные решения и устранить обнаруженные проблемы.

11 или более ответов "да", более 10 моделей в компании

Процесс управления моделями в вашей компании безупречен. Каждой из них вы можете доверять на 99.9%.

11 или более ответов "да", менее 10 моделей в компании

У вас есть простор для роста! Попробуйте добавить в реестр моделей своей компании новые позиции. Используйте риск-ориентированный системный подход к управлению своими моделями, и тогда точно сможете достичь вершины.

Менее 6-ти ответов "да", 10 и менее моделей в компании

Наверняка вы пытались наладить систему управления моделями в своей компании, однако не все процессы в ней функционируют полноценно и правильно. Возможно, у вас не сформирована единая система, в рамках которой объединились бы все взаимосвязанные друг с другом процессы, а также их участники. Задумайтесь над организацией единой системы, в рамках которой будет осуществляться хранение моделей, контроль их качества и управление.

6 и менее ответов "да", более 10-ти моделей в компании

Срочно пересмотрите подход к управлению своими моделями. Существует риск, что вы не сможете своевременно обнаружить в них недостатки, что приведёт к убыткам и снижению вероятной прибыли. Начните строить культуру управления модельным риском в своей компании.

6 и менее ответов "да", менее 10-ти моделей в компании

Начните выстраивать структурированный процесс по управлению моделями. По мере увеличения их числа будет возрастать и сложность управления. Контролировать качество также будет сложнее, из-за чего организация может оказаться в зоне риска, а используемые модели перестанут работать правильно.

Подробнее

Дополнительная информация об управлении и оценка модельных рисков, официальные документы, скриншоты и другие материалы, находятся по ссылке sas.com/mrm