Цифровая трансформация. Анализ, тренды, мировой опыт

Решения класса Big Data интегрируются с технологиями в области «интернета вещей» и искусственного интеллекта. Так, например, в 2017 году департамент дорожной полиции города Шэньчжэнь (Китай) получил награду за построение решения класса Smart City (проект, выполненный в сотрудничестве с компанией Huawei). В данном проекте была создана система управления городским автомобильным движением, которая позволила оптимизировать транспортные потоки, снизить количество пробок, сократить число дорожно-транспортных происшествий и повысить безопасность вождения. Дорожная полиция получила платформу Big Data, которая собирала данные о состоянии трафика в городе, использовала систему глубокого обучения, а также позволила построить интеллектуальную систему управления транспортными потоками, ввести адаптивный контроль светофоров, увеличить пропускную способность дорог

Другой пример общедоступного сервиса — это приложение Clusty: бесплатная поисковая система, которая позволяет получить результаты кластеризации искомых документов по наиболее часто встречаемым в результатах поиска ключевым словам.

Инструментарий Big Data уже существенно оказывает влияние на банковский сектор. По мере роста объема клиентов и сервисов банкам все труднее оставаться персонально-ориентированными и учитывать нужды отдельных клиентов. По данным McKinsey, за 2017 год 76% крупнейших американских банков использовали Big Data для привлечения клиентов, улучшения коммуникаций и повышения лояльности. По оценкам Gartner, 34% банков в мире уже инвестировали в развитие этих технологий.

Согласно прогнозам исследовательской компании IDC, в 2025 году человечество будет генерировать 163 зеттабайт (или 163 трлн гигабайт) данных, включая их дублирование. То есть объем данных вырастет на порядок по сравнению с годовым показателем 2017 года.
К 2025 году до 60% мировых данных будут использоваться для управления предприятиями и почти 20% данных будут относиться к категории критически важных с точки зрения поддержки систем обеспечения жизнедеятельности человека. При этом более четверти всех создаваемых данных будет генерироваться в режиме реального времени.

Начиная с 2008 года, платформа Hadoop активно развивалась и к 2010 году де-факто стала основным стандартом для работы с «большими данными». В частности, на базе Hadoop реализована система поисковых механизмов высоконагруженных веб-сайтов таких компаний, как Yahoo и Facebook

чем быстрее поступают или меняются данные и чем менее они структурированы, тем меньший объем данных может приводить к необходимости применения технологии Big Data для обработки таких данны

В 2000 году компания Google создала распределенную файловую систему GFS для внутреннего использования, а в 2003 году описала технологические принципы ее организации.
В 2001 году Дуг Лани опубликовал исследование «3D Data management: Controlling Data Volume, Velocity and Variety», в котором формируется концепция так называемых 3V, которая впоследствии присутствует в большинстве определений понятия Big Data. Речь идет о таких параметрах, как объем данных (Volume), разнообразие данных (Variety) и скорость (Velocity).

Термин Big Data можно назвать собирательным или зонтичным. Он может означать характеристику самого набора данных, совокупность технологий для их обработки, а также организационные меры в компании по анализу данных и использованию их для принятия управленческих решений. Существует также понятие «проблема больших данных». По сути, проблема больших данных и привела к необходимости создания технологий больших данных, призванных ее решить. Суть этой проблемы в том, что компании в определенный момент времени стали накапливать большие объемы неструктурированных и полуструктурированных данных и пытаться хранить и обрабатывать эту информацию, при этом существующие в их распоряжении традиционные хранилища данных, ориентированные на структурированные наборы данных и основанные на реляционных базах данных, оказались неспособны эффективно решать данные задачи в приемлемые сроки.

В качестве перспектив, которые открывает развитие виртуальных услуг, авторы отчета называют построение электронной демократии в городе, реализацию бюджетирования при участии горожан с возможностью онлайнового голосования, в том числе и по финансовым вопросам. Вершиной развития данной функциональности авторами рейтинга видится формирование сервиса «город как сервис», который сократит разрыв между горожанами и городской администрацией.

Помимо оценки уровня развития стран и индустрий, существуют также методики оценки уровня зрелости цифровой трансформации на уровне отдельных городов. При этом, как и в случае с рейтингованием стран, есть методики, которые базируются на технологических параметрах и измеряют уровень развития ИКТ-инфраструктуры или ее потенциал,