Как Big Data может спасти экономику Украины

На Филиппинах Big Data используют для оптимизации сбора налогов, а в Индии — для выявления нелегального импорта. Руслан Костецкий, директор компании SAS Украина, о том, как анализ больших массивов данных может спасти экономику Украины

Какие основные проблемы взаимоотношения граждан и госструктур в Украине?

Несмотря на немалые усилия госструктур, предпринятые в последние годы для упрощения различных процедур, сокращение количества разрешительных документов и внедрение современных управленческих решений, взаимодействие граждан и государства все еще остается малоэффективным. Сегодня получение нужной справки, свидетельства или лицензии по-прежнему вызывает определенные сложности. Государственные структуры пока не в полной мере понимают потребности своих граждан, не учитывают их жалобы и претензии, а ведь именно они являются уникальным источником ценной информации.

Почему так происходит?

Как правило, процессы взаимодействия государства и простых украинцев осуществляются в одностороннем порядке: чиновник — гражданин. Это, на мой взгляд, происходит по трем причинам. Во-первых, из-за наличия в различных комитетах и ведомствах огромного количества неструктурированной информации, которая хранится в разных источниках и зачастую дублируется. Во-вторых, из-за отсутствия так называемого "единого окна", когда у каждого процесса есть свой ответственный, к которому стекаются все данные. И, в-третьих, из-за неумения и зачастую нежелания пользоваться обратной связью, которая содержит ценную информацию, и правильный анализ которой способствует принятию решений, удовлетворяющих обе стороны взаимодействия.

Государственный сектор — главный потребитель аналитических решений во многих высокоразвитых странах. Как именно они применяются на Западе?

Госструктуры по всему миру аккумулируют самые большие объемы данных, анализ которых позволяет не только выявлять закономерности общественной жизни, но и прогнозировать изменения этих процессов. Заявления, жалобы, письма, запросы, обращения граждан — это непрерывный поток информации. Сегодня к нему добавились новые источники данных — соцсети, блоги, форумы. Аналитические решения помогают государственным службам лучше понимать, использовать и защищать накопленные данные независимо от их объема, состояния и места хранения.

Но как именно анализ этих данных может помочь государству?

Среди основных задач, которые решает бизнес-аналитика для госсектора по всему миру, — повышение собираемости налогов, борьба с различными видами преступлений, прогнозирование состояния экономики, демографической ситуации и изменений общественных настроений, повышение качества услуг населению, более рациональное распределение бюджетов, определение приоритетных направлений работы и т.д. Так, при помощи инструментов углубленной аналитики SAS налоговое управление Филиппин сокращает дефицит федерального бюджета и оптимизирует сбор налогов, а правительство Гонконга визуализирует большие данные для обработки жалоб со стороны населения, оперативного решения проблем и предупреждения недовольства.

В ряде стран бизнес-аналитика также применяется для противодействия терроризму, оптимизации расходов на армию, мониторинга положения национальных меньшинств, развития дорожной сети с учетом прогнозируемой загрузки трасс и анализа перемещения граждан для планирования городской инфраструктуры и т.д. Например, департамент транспорта Южной Дакоты с помощью наших решений определяет возможности для экономии средств, обосновывает существующие затраты и увеличение бюджета в тех областях, где это необходимо, а также управляет эффективностью работы самого учреждения. Среди пользователей аналитики SAS — федеральные налоговые службы США, Кореи, Франции, Филиппин, Австралии; силовые ведомства Бельгии, Великобритании, Саудовской Аравии, Сингапура, Швеции; правительства всех 50 американских штатов и т.д.

Как "большие данные" могут влиять на рост экономики Украины?

Компании, государственные структуры и прочие организации в Украине накопили огромные объемы самых разнообразных данных — о рынке, клиентах, нормативах и политиках, проектах, оборудовании, показателях работы и т.д. Эта информация содержит в себе огромный потенциал и массу возможностей, однако у нас все это пока не используется в полной мере. Также нужно понимать, что почти три четверти такой информации, как правило, неструктурированно и неупорядоченно.

Как же "прочитать" весь этот объем информации, увидеть главное и найти закономерности? На помощь приходят технологии Big Data, отличающиеся особым быстродействием и повышенной точностью. При этом особенность Big Data вызвана не столько большими объемами, сколько неспособностью старых методов оперативно справляться с потоками разнообразных данных, поступающих из огромного числа внешних и внутренних источников, имеющих различную структуру и схемы индексации.

Сегодня организациям важно найти оптимальный способ, как в кратчайшие сроки извлекать из имеющихся у них данных полезную и релевантную информацию. И, что немаловажно — не просто находить прежде скрытые закономерности, тенденции и взаимосвязи, но и получать эту информацию в режиме реального времени и в результате быстрее принимать своевременные управленческие решения, основанные на качественных данных.

Знания, получаемые при обработке такой информации, дают возможность выстраивать эффективные бизнес-процессы, проверять и ранжировать долгосрочные стратегические инициативы, оптимизировать продуктовые линейки и т.д. Это качественно иной подход к работе с данными, что сложно оценить в количественных показателях на первых порах.

Однако внедрение продвинутых информационных технологий по примеру западных стран, а именно инструментов углубленной аналитики, способно существенно повлиять на повышение эффективности всех бизнес-процессов и оптимизацию расходов. А это, безусловно, будет способствовать позитивным экономическим преобразованиям в Украине.

Какие потенциальные выгоды несут "большие данные" для государства?

Учитывая сегодняшние реалии и ориентированность новой власти на европейские стандарты и ценности, мы уверены, что украинские государственные структуры стоят на пороге использования углубленной аналитики по примеру западных стран. Предприятия госсектора в Украине накопили огромные объемы информации. Ее обработка и интеллектуальный анализ помогут государственным учреждениям получать ценнейшую информацию о гражданах, заблаговременно выявлять явные и неявные тенденции, эффективно прогнозировать развитие макро- и микроэкономических ситуаций. В частности, это такие важные задачи, как анализ жалоб и обращений граждан, мониторинг публичных лиц и законодательных/общественных инициатив в интернете, построение многопрофильных информационно-аналитических и ситуационных центров, радикальное повышение качества данных и выход на уровень качественной предсказательной, а не описательной аналитики. Для этого во всем мире используются современные инструменты бизнес-анализа, включая текстовую аналитику и визуальный анализ "больших данных".

Приведу примеры из нашей практики. Министерство финансов Германии применяет решения SAS для повышения уровня эффективности управления бюджетами всех уровней, таможни Южной Кореи и Индии — для выявления нелегального экспорта и импорта. Пенсионный департамент Великобритании на базе аналитики вычисляет граждан, которые неправомерно получают различные социальные льготы и пособия, а также проводит экономическое моделирование и обоснование пенсионной реформы. Служба государственных доходов США использует аналитику для анализа информации об уплате налогов, выявления мошенничества в части декларирования доходов налогоплательщиками, а Департамент внутренней безопасности Сингапура с помощью аналитики выстроил систему выявления потенциальных криминальных или нелегальных действий, которые влияют на внутреннюю безопасность страны.

Что представляет собой High Performance Analytics?

Часто существующая ИТ-инфраструктура не дает накопленным организациями "большим данным" стать ценным ресурсом и источником полезных знаний для менеджеров и сотрудников. Возникают проблемы с отказоустойчивостью, со скоростью соединений, не хватает дискового пространства и оперативной памяти и т.д. Проблема постоянно усугубляется, потому что данных становится все больше. Попытки решить проблему на аппаратном уровне — наращиванием числа серверов и оперативной памяти — не дают заметного эффекта, поскольку носят "догоняющий" характер, обходятся дорого и не позволяют организации избавиться от этой головной боли раз и навсегда.

Высокопроизводительная аналитика (High Performance Analytics) позволяет реализовать принципиально иной подход к работе с "большими данными". Использование решений данного класса дает возможность сверхоперативно и с большой точностью обрабатывать и анализировать огромные объемы информации.

Есть три области применения и, соответственно, развития подобных технологий: средства углубленного анализа данных, средства отчетности и визуализации данных, а также прикладные аналитические решения.

Каков массив данных накоплен госструктурами Украины?

По нашим предположениям, госструктурами Украины накоплены огромные массивы данных, как структурированных, так и в большей степени неструктурированных — в бумажном, необработанном виде. К сожалению, на сегодняшний день не существует точных цифр по этому вопросу, учитывая тот факт, что подобная статистика в Украине никогда не велась. Если обратиться к экспертам рынка, то, по прогнозам IDC, количество данных на планете как минимум удваивается каждые два года, то можно представить, сколько терабайт различной информации накопилось в госструктурах за почти 23 года существования Украины как независимого государства.

Сколько необходимо времени для их систематизации?

Продолжая ответ на предыдущий вопрос — все зависит от общего количества данных и источников их хранения, а также от поставленных задач. При этом с полной уверенностью можно говорить о том, что для систематизации такой разнородной информации потребуется волевое решение и несколько лет — от момента переведения ее в электронный вид, до создания конкретной базы или баз данных. Однако тут еще важно учитывать вопрос менталитета и дефицит квалифицированных кадров — это тоже может существенно влиять на скорость процессов интеграции и систематизации.

Какие выгоды принесет внедрение High Performance Analytics в госсекторе простым гражданам? Бизнесу?

Государство является исключительным оператором данных, поэтому вопрос об анализе Big Data и извлечении пользы от них для населения вполне естественен. В получении подробной и объективной информации в самых разных разрезах в наглядной и простой форме заинтересованы сегодня руководители всех уровней. Внедрение высокопроизводительной аналитики поможет государственным структурам работать со всем имеющимся объемом накопленных данных, а не с выборками. Соответственно, принимаемые решения будут основаны на более полном владении информацией, на всестороннем анализе ситуаций и трендов. Чиновники будут лучше понимать запросы и настроения граждан и смогут на них вовремя реагировать, улучшится качество жизни простых украинцев. Построить модель "Государство для людей" — это то, к чему стремится весь цивилизованный мир. Это позволит снизить уровень напряженности в обществе и повысить лояльность граждан своему правительству.

Что же касается бизнес-структур, инструменты высокопроизводительной аналитики помогут компаниям преобразовать "большие данные" в действительно ценный для бизнеса ресурс, пересмотреть и усовершенствовать бизнес-процессы за счет невероятно быстрого получения ответов на гипотезы, проверка которых раньше занимала дни и месяцы, и построить масштабируемую аналитическую инфраструктуру в рамках своей организации.

Каковы основные проблемы применения High Performance Analytics?

Бизнес пока присматривается к возможностям высокопроизводительной аналитики и визуализации данных, экспериментирует с инструментами. Но чтобы в полной мере оценить преимущества таких решений, нужен серьезный подход и инвестиции, в том числе со стороны компании должна быть готовность выделить отдельное "железо" под in-memory технологии. Вторая сложность связана с тем, что развертывание проекта Big Data технологий должно быть осознанным и проработанным решением, а не данью моде.

Какие основные тенденции применения и развития High Performance Analytics в мире?

Благодаря технологиям Big Data, в частности решениям класса High Performance Analytics, углубленная аналитика становится все более востребованной в государственном секторе. Это происходит потому, что высокопроизводительные инструменты делают возможным анализ больших массивов данных. Эта тенденция наблюдается во всем мире, не только в Украине.

Организации, которые уже оценили значимость аналитики в процессах принятия решений, начинают использовать интерфейсы разработки и управления группами моделей, создавать на основе рекомендаций модели массовых решений.

Что касается технологий хранения информации, наблюдается небольшое смещение акцентов с платформ MPP (Massively parallel processing) в сторону Hadoop. Продолжается демократизация интерфейсов, расширяется функциональность аналитических инструментов, которыми могут пользоваться бизнес-специалисты и конечные пользователи, а не только аналитики-математики. Например, если два-три года назад стали доступны такие инструменты, как Visual Analytics, то сейчас, благодаря Visual Statistics, бизнес-пользователи могут самостоятельно применять методы углубленной аналитики.