Информация

Big data в 2020 году и тенденции сетевой IТ-инфраструктуры обработки больших данных

Big data – популярное понятие без чёткого однозначного определения. Ведь информационные потоки в мире стремительно нарастают. В Википедии, например, рассказывается об «огромных объёмах» и «значительном разнообразии» данных, которые обрабатываются «горизонтально масштабируемыми» программами и «альтернативными» базами данных.

Source: Victor Garcia, Unsplash.com

Source: Victor Garcia, Unsplash.com

Из названия «big data» («большие данные») понятно, что главное свойство этой информационной среды – размеры. Общепринятая единица объёма информации – байт. Первым персональным компьютерам хватало 256 Кб оперативной памяти. Но сегодня "слабым" считается ноутбук с оперативной памятью до 8 Гб и жестким диском меньше 1 Тб, то есть 10 в 12-й степени байт. Вместе с big data все чаще упоминаются единицы измерений крупной информации:

  • 1 петабайт (Пб) = 10 в 15 степени байт,
  • 1 эксабайт (Эб) = 10 в 18 степени байт,
  • 1 зеттабайт (Зб) = 10 в 24 степени байт.

Объём данных, который обрабатывают компьютеры всего мира, растет лавинообразно. В 2003 году его оценили в 5 эксабайт, в 2015-м – в 6,5 зеттабайт. Прогноз на 2020 год составил 40 зеттабайт, а через пять лет этот показатель вырастет ещё минимум в 10 раз.

Главным источником данных будут не люди, а технические устройства, обменивающиеся информацией между собой без участия человека. Сегодня уже в ходу термин «Интернет вещей» (IoT), и он значительно шире, чем обозначение для «умных» кофеварок и пылесосов. IoT – это системы smart home, датчики дорожного движения, автоматизированные линии предприятий, управляющие сигналы для автомобилей, самолётов, поездов. Чтобы справиться с этой лавиной, нужны будут новые технические решения.

Необходимые изменения IT-инфраструктуры

Big data – конгломерат технологий, предназначенных для обработки постоянно растущего объёма данных. Скорость их поступления и изменения тоже непрерывно растёт, структура неоднородна, непредсказуема и слабо структурирована. Анализ этого бурного потока позволяет выявить скрытые закономерности, незаметные операторам-людям. Как следствие, становится возможной оптимизация множества процессов управления, от трамвая до государства, расширение медиасферы, медицины, производства.

Попытки внедрения элементов подобных систем в крупных компаниях дали заметный положительный эффект: сократили затраты, увеличили прибыль, стимулировали выпуск новой продукции. Но к 2015 году технические средства связи подошли к пределу своих возможностей. Скорость и объём передачи данных между узлами информационной сети стали недостаточными для дальнейшей эволюции.

Новая эра потребовала новых решений. Разработан и активно внедряется стандарт мобильной связи 5G с техническими параметрами, превышающими нынешние в десятки и сотни раз. Теперь каналы передачи данных способны обеспечить связь на нужной скорости. И уже испытываются устройства следующего стандарта 6G.

Принципы работы с big data

Специфические особенности больших объёмов данных требуют новых принципов работы с ними, таких, как:

  • Горизонтальная масштабируемость. Это означает, что количество узлов вычислений непрерывно растёт, но это не должно никак сказываться на скорости операций.
  • Отказоустойчивость. С ростом количества узлов информационной сети растёт и вероятность отказов и потери данных. Поэтому необходимы их многократная проверка и дублирование.
  • Локальность данных. Кусочки информационной мозаики распределены по множеству серверов. Их передача для обработки в единый центр замедляет и удорожает процесс вычислений, то есть первичную обработку желательно проводить на том же компьютере, где данные хранятся. А дальше передавать результаты, уже сформированные согласно запросу.

Прогресс big data в мире

Big data – фундамент грядущего постиндустриального общества XXI века. Общие контуры его уже вырисовываются. Объём рынка соответствующих технологий в 2012 году составлял $8 млрд, а в 2016 году – $130 млрд. Прогнозируется его ежегодный рост на 36%.

Лидерами стали Китай и США. ЕС готовится создать единый рынок данных в 2020 году, чтобы преодолеть своё отставание. Энергично разворачиваются новые сети стандарта 5G, без которых затруднительно реализовать работу с потоками больших данных в режиме реального времени.

Big data в России

Флаг Российской Федерации

Технологии больших данных уже используются российскими частными компаниями и госструктурами. По информации из открытых источников, они уже внедрены в Сбербанке, Альфа-банке, ВТБ, Газпромбанке и других крупных финансовых организациях. Активно входят они и в нефтяной сектор: «Транснефть», «Роснефть» и «Сургутнефтегаз». По методикам big data обрабатывает информацию Федеральная налоговая служба, Федеральная служба безопасности, аналитический центр правительства России, правительство Москвы.

Накоплен определенный опыт, и на его основе Национальный центр цифровой экономики МГУ предложил национальный стандарт для больших данных. В нём отражены основные понятия и термины из области новых технологий, которые в ближайшем будущем предстоит внедрять в управление городскими коммуникациями, медицину, связь, энергетику, банковскую сферу. Разработанный стандарт соответствует действующему в Европе ISO/IEC 20546:2019.

Создаётся законодательная база. В мае 2020 года Госдума приняла закон о едином федеральном информационном регистре сведений о россиянах. В нем чётко определены допустимые для сбора и сохранения данные, методы и средства обеспечения их безопасности. С 1 января 2022 года реестр станет единственным узаконенным источником информации о гражданах Российской Федерации.

Big data в Украине

Флаг Украины

В 2019 году Кабмин Украины разработал стратегию развития big data до 2030 года. К 2024 году планируется полностью цифровизировать сектор госуслуг.

Технологии больших данных уже работают в Приватбанке. Управление транспортом на основе искусственного интеллекта реализуется в проекте Kyiv Smart City. В группе компаний Fozzy торговые предложения формируют на основе результатов анализа покупательской активности.

Big data в Беларуси

Флаг Республики Беларусь

Технологии big data внедряются в проектах Электронного правительства. В 2020 году пройдёт тестирование системы «Электронный рецепт» для анализа статистики заболеваний, и с учётом его результатов будут приниматься управленческие решения для медицинской отрасли. В Минске уже эксплуатируется сеть стандарта 5G.

Развитие big data в Беларуси может замедлять высокая стоимость аппаратуры и программного обеспечения. Однако цены на инфраструктуру продолжат снижаться в ближайшие годы и барьеры будут быстро уменьшаться.

Big data в Казахстане

Флаг Республики Казахстан

Крупные казахские банки уже используют элементы big data. Опытные сети 5G развернуты в Алма-Ате и Нур-Султане. Но внедрение технологий обработки больших данных здесь задерживает неразвитость инфраструктуры и нехватка специалистов. Правительство Казахстана приняло программу ускоренной подготовки инженеров нужного профиля.

Big data в Прибалтике

Флаги Эстонской Республики, Латвийской Республики и Литовской Республики

В Эстонии, Латвии и Литве расширяется необходимая для big data инфраструктура. В опытную эксплуатацию запущена мобильная сеть стандарта 5G в Елгаве и Даугавпилсе. Прибалтийские страны отказались от использования аппаратуры компании Huawei и находятся в поиске новых поставщиков оборудования.

Создать Тикет

  • ${$translate(error)}
  • ${$translate(error)}
  • ${$translate(error)}