Новости
Исследования показывают, что в компаниях, использующих большие данные, вероятность достижения запланированных показателей прибыли на 58 % выше по сравнению с теми компаниями, которые не внедряют BigData, при этом вероятность получения значительного превосходства над конкурентами повышается на 162 %. Почти в половине из этих компаний аналитика данных помогает по любым направлениям, начиная с выбора продукции и заканчивая определением целевых рынков. Данные становятся необходимы в любой отрасли: в сельском хозяйстве они помогают увеличить скорость производимой продукции, а в спорте могут кардинально повлиять на ход игры.
Проблема использования больших данных заключается в том, что их не всегда легко применить в работе. Согласно отчету Seagate Rethink Data, предприятия используют только 32 % доступных данных, остальные 68% данных остаются неиспользованными. Руководители компаний просто не верят в нынешние и перспективные возможности данных, и в то, что с помощью данных можно наращивать прибыль.
При проведении цифровой трансформации компании должны соблюдать 10 принципов при разработке стратегии работы с данными:
Определите фактическую ценность данных
Насколько они ценны для вас? Ценность данных можно рассчитать несколькими способами. Например, с помощью стандартных показателей, таких как стоимость приобретения данных, стоимость хранения и передачи данных, уникальность приобретаемых данных, возможность использования данных для создания дополнительного дохода. Рыночные показатели влияют на стоимость данных. К таким параметрам относятся качество данных, возраст данных, частота использования результатов обработки данных.
Ваши данные могут также обладать ценностью для других пользователей. Предположим, медицинское учреждение собирает наборы данных о пациентах, которые могут повысить ценность ваших данных. В этом случае эти данные могут представлять интерес для специалистов, исследующих заболевания, производителей лекарств, страховых компаний и других потенциальных покупателей. Существует ли готовый механизм, который позволяет удалять, собирать, контролировать ваши данные и определять их потенциальных пользователей?
Определите факторы, влияющие на ценность данных
Если определить реальную стоимость данных не удается, проще обозначить элементы, которые способствуют повышению их ценности. Это утверждение можно представить в виде простого уравнения:
Полнота + достоверность = качество
Качество + формат = удобство использования
Удобные в использовании данные + правильное использование данных специалистом = ЦЕННОСТЬ
Ваши данные должны соответствовать необходимым критериям, чтобы в их обработку можно было инвестировать. Наконец, создание систем позволяет специалистам оптимально использовать и анализировать данные, а также установить контакт с руководителями компаний, которые могут использовать эти данные.
Определите, на каком этапе использования данных вы находитесь
Переход компании к максимальному использованию облачных вычислений выполняется в несколько этапов. То же самое относится к процессу применения данных.
Эффективность принятия решений в компании в отношении стратегии использования данных в большей степени зависит от того, на каком этапе реализации стратегии находится компания. На каком этапе находитесь вы? Инструменты и планы оценки помогают компаниям определить текущий этап. Процесс оценки подразумевает не только определение инструментов, входящих в набор технологий компании. Необходимо выяснить, как данные используются в организации, учитывая управление данными, управление жизненным циклом, защиту, получение и обработку данных, архитектуры данных, использование и распределение данных, знания о данных и способы их монетизации.
Научитесь работать с данными, поступающими из разных источников
Компания получает данные из разных источников: внутри организации, с устройств Интернета вещей, от систем видеонаблюдения на периферии, а также от партнеров, клиентов, из социальных сетей и Интернета. Для удобного и эффективного использования данных необходимо выборочно осуществить администрирование, защиту и оптимизацию нескольких сотен зеттабайтов данных, размещенных в разных частях мира.
Эта проблема касается предприятий, не имеющих готовых систем для сбора данных и управления ими.
В разных компаниях и странах действуют разные правила, касающиеся того, какую информацию можно использовать совместно и каким образом. В одной и той же компании политики разных отделов могут идти вразрез с правилами корпоративного управления, определяющими конкретные схемы использования тех или иных наборов данных. В связи с этим возникает необходимость в эффективном внедрении политик доступа к данным и их распределения. Чтобы получить такие возможности использования данных, компании должны создать способы для поиска новых наборов данных и ввести правила управления ими.
В промышленной сфере компании, занимающиеся цепочками поставок, определяют качество производимых запчастей и качество работы поставщиков. Как правило, используемое этими компаниями оборудование и робототехника принадлежат предприятиям-поставщикам. Для защиты собственных коммерческих интересов поставщики могут заключить договор о правах определенных лиц на использование данных, а производители должны заранее определить требования к совместному использованию своих данных с партнерами и поставщиками.
Заручитесь стратегической поддержкой руководства компании
Данные используются на разных уровнях организации, и пользователи каждого затронутого уровня будут отстаивать определенный аспект оценки данных. Для специалистов по данным требуются более мощные, удобные в применении технологии. Руководители разных направлений хотят получать данные эффективнее и быстрее. И, наконец, первые лица компании видят приоритеты в преобразовании данных в бизнес-возможности.
Представители высшего руководства становятся более открытыми к тому, чтобы расширять возможности использования корпоративных данных. Согласно отчету компании IDC под названием Market Analysis Perspective: Worldwide Data Integration and Intelligence Software, 2021 (Перспективы анализа рынка: интеграция глобальных данных и программное обеспечение для анализа данных, 2021 г.), вторая по значимости стратегическая область интересов руководства (после привлечения клиентов) — использование данных и улучшение качества принимаемых решений для сохранения конкурентоспособности и адаптации к текущим условиям рынка. Согласно этому же отчету, 83% руководителей заявили о потребности чаще использовать данные, чем в допандемийный период.
Надежность данных: убедитесь, что ваши данные безупречны
Поскольку технологии искусственного интеллекта распространяются на все аспекты современной жизни, риски, связанные с их ненадлежащим использованием, стремительно увеличиваются. Это отражается на качестве данных, которые используются для обучения моделей ИИ. Как были произведены данные? Использовался ли при этом поврежденный датчик? Применялись ли искаженные источники при создании набора данных? Выбранные данные были получены из одного источника или из статистически достоверного набора источников?
Надежность элементов ИИ зависит от наличия надежных данных, которые можно использовать для создания прозрачных, безопасных, неискаженных и устойчивых моделей. Если вы знаете, как обучается модель, но сомневаетесь в точности получаемых результатов, можно остановить процесс и переобучить модель.
Обучение модели проводится в несколько этапов. Сначала вы создаете модель на основе данных. Затем вы тестируете ее и собираете дополнительные данные для проведения повторного тестирования. Если модель его проходит, вы создаете более устойчивую производственную модель. На последующих этапах добавляются другие данные, затем они сортируются, и со временем определяется действенность выбранной модели.
Отсутствие комплексной системы, которая обеспечивает наличие качественных данных и их эффективное совместное использование, опосредованно влечет за собой задержки с внедрением ИИ. Согласно отчету IDC, 52 % респондентов считает, что проблемы, связанные с качеством, количеством и использованием данных, приводят к задержкам с развертыванием элементов ИИ.
Используйте метаданные
Если кратко, метаданные — это данные, предоставляющие информацию о других данных. Они обеспечивают контекст данных, который необходим пользователям для того, чтобы понять особенности фрагмента информации и способы, которые позволят работать с ней в будущем.
Стандарты метаданных широко применяются для выполнения особых задач в конкретных отраслевых приложениях таких как файлы XML. При этом необходимо внедрять максимально прочную структуру метаданных, позволяющую не только определять данные обычными способами, но и помечать тегами полезные артефакты данных. Откуда взялся этот элемент данных? Кто его просматривал? Кто его использовал? Для чего он применялся? Кто и какой элемент набора данных добавил? Прошли ли данные проверку? Установлен ли запрет на использование данных в определенных ситуациях?
Для разработки такого механизма метаданных требуется технологический уровень, позволяющий собирать данные о пользователях, которые просматривают тот или иной элемент данных либо взаимодействуют с ним. Для этого также необходимо заручиться поддержкой широкого круга заинтересованных сторон, которые понимают, насколько важно иметь возможность рационального и прозрачного использования данных.
Создание дополнительного открытого уровня метаданных станет важным шагом на пути к демократизации доступа к данным, когда будет разрешено прозрачное совместное использование ключевых атрибутов данных, необходимых для доступа, контроля, доверительного хранения и происхождения данных. Подход к использованию пространств данных компании Hewlett Packard Enterprise заключается в том, чтобы открыть доступ к универсальному стандарту метаданных, который позволит устранить текущие сложности, связанные с совместным использованием различных наборов данных.
Учитывайте значение культуры
Организации должны знать, что создаваемые ими ресурсы используются в максимальном объеме, и для этого им необходимо создать культуру, которая будет способствовать продвижению передовых подходов к совместному использованию данных.
В компании есть проблема разрозненности данных? Существуют ли в вашей организации культурные барьеры, которые препятствуют правильному распространению информации по соответствующим источникам и в нужные сроки? Происходит ли в разных отделах компании так, что доступ к хранящимся там данным не предоставляется другим отделам? Хранят ли отдельные сотрудники ценные данные в закрытом виде? Созданы ли в вашей организации каналы и процедуры, которые поддерживают свободный обмен данными? Демократизировали ли вы доступ к данным, предоставляя заинтересованным сторонам компании возможность не только запрашивать данные, но и принимать участие в создании запросов и обмене методиками?
Если какой-либо из этих факторов препятствует свободному обмену данными, вашей организации необходимо пройти процедуру оценки управления изменениями, которая выявляет потребности компании, связанные с персоналом, использованием процессов и технологий.
Откройте доступ к данным, но будьте начеку
Во всех отраслях организации пытаются оптимально сочетать нередко противоречащие друг другу концепции: продвижение свободного и открытого доступа к ресурсам и жестко регламентированная система безопасности. Достижение оптимального сочетания особенно важно при работе с данными.
Обеспечение безопасности должно стать приоритетной задачей. Данные поступают из многих источников — одни вы можете контролировать, другие нет — и проходят через многочисленных пользователей. Это значит, что защищающие данные политики безопасности должны создаваться с помощью модели нулевого доверия на каждом этапе этого процесса. Доверительный доступ к данным необходимо установить на всем стеке, начиная с инфраструктуры и операционных систем и заканчивая рабочими нагрузками, которые выполняются в этих системах, вплоть до уровня интегральных схем.
Создайте полнофункциональный конвейер служб данных
Для переноса данных между системами необходимо выполнить несколько шагов, в том числе переместить данные в облако, переформатировать их и присоединить к другим источникам данных. Для каждого шага, как правило, требуется отдельное ПО.
Автоматизация конвейеров данных — очень важная передовая практика переноса данных. Полностью автоматизированный конвейер данных позволяет организациям извлекать данные по месту их возникновения, преобразовывать в приемлемый вид и интегрировать с другими источниками.
Конвейер данных позволяет объединить все эти шаги, обеспечивая надежное выполнение каждого из них для всех данных. Эти процессы должны выполняться автоматически, но для большинства организаций необходимо привлечь по крайней мере одного-двух инженеров, которые будут поддерживать системы, устранять отказы и выполнять обновления в соответствии с меняющимися потребностями компании.
Приступите к переносу данных уже сегодня!
То, насколько эффективно компании будут использовать свои данные (независимо от места их хранения), определит их успех на последующие несколько лет. Согласно прогнозам Constellation Research, 90 % компаний, которые в настоящее время входят в список Fortune 500, к 2050 году будут объединены, проданы другим компаниям или обанкротятся. Если они не начнут преобразования сейчас, их опередят другие.