Учебник по 1С Конвертации данных (редакция 2) Выгрузка и загрузка метаданных
Автор учебника: Фирма «1С»
Выгрузка информации о структуре информационной базыИтак, для создания правил обмена данными нам нужна информация о структуре информационных баз участвующих в обмене. Если мы будем знать структуру информационных баз, то сможем задать какие объекты информационной базы источника должны преобразовываться в объекты информационной базы приемника. То есть по сути, сможем настроить правила обмена данными между двумя информационными базами.
У нас имеется информационная база по которой нам нужно получить информацию о ее структуре. Выгрузим информацию о структуре информационной базы в файл. Для этого используется внешняя обработка MD81Exp.epf и MD80Exp.epf для конфигураций на платформе «1С:Предприятии 8.1» и «1С:Предприятии 8.0» а так же MD77Exp.ert для конфигураций на платформе «1С:Предприятии 7.7». Эти обработки входят в комплект дистрибутива конфигурации «Конвертация данных 2.
0″.
Для подготовки XML-файла содержащего описание структуры метаданных конфигурации нужно запустить внешнюю обработку соответствующую версии платформы , указать путь для файла, в который необходимо выгрузить информацию о структуре информационной базы и нажать кнопку «Выгрузить».
Если наша информационная база работает на базе платформы 1С:Предприятие 8.1, то процесс выгрузки информации о структуре информационной базы будет выглядеть следующим образом:
- Открытие информационной базы, информацию о структуре метаданных которой необходимо получить (одинаков для всех платформ)
- Открытие внешней обработки MD81Exp.epf. Для этого достаточно в главном меню открыть пункт «Файл\Открыть» и указать путь по которому располагается обработка MD81Exp.epf (для платформы 7.7 и 8.0 нужно открывать обработки MD77Exp.ert соответственно MD80Exp.epf).
- Указание имени файла, в который необходимо сохранить информацию о структуре информационной базы
- Нажатие на кнопку Выполнить
Эти действия позволили нам выгрузить информацию структуре информационной базы.
Осталось только загрузить данную информацию в программу и можно будет приступить к настройке правил обмена данными.
Загрузка информации о структуре информационной базыКогда файл с информацией о структуре метаданных готов, его можно загрузить в конфигурацию «Конвертация данных».
Для этого достаточно открыть «Панель функций» и выбрать пункт «Загрузить структуру метаданных конфигурации».
После чего откроется форма в которой необходимо указать путь к файлу, в котором хранится информация о структуре информационной базы.
Имеется возможность загрузить данные о структуре конфигурации в новый элемент, либо модифицировать уже загруженную структуру метаданных информационной базы.
После нажатия на кнопку «Выполнить загрузку» программа загрузит информацию о структуре информационной базы (Процесс загрузки информации о структуре метаданных информационной базы может потребовать некоторого времени. О ходе загрузки данных программа будет Вас информировать сообщая количество загруженных объектов, их свойств и предопределенных значений).
После окончания загрузки программа откроет информацию о загруженных данных. При этом будет создан новый элемент справочника «Конфигурации». Этот элемент справочника в дальнейшем будет соответствовать информации о выгруженной конфигурации.
В справочнике «Конфигурации» хранится информация о информационной базе из которой были выгружены данные. Имеется возможность посмотреть информацию о структуре информационной базы.
В верхней части формы в виде дерева представлена структура метаданных. В табличной части на закладке «Свойства» показаны реквизиты, табличные части объектов метаданных. Для документов дополнительно показана структура записей регистров, движения по которым делает соответствующий документ.
Если информация о структуре метаданных информационной базы источника и приемника загружена полностью, то все готово для создания правил обмена данными.
С уважением, Владимир Милькин (преподаватель школы 1С программистов и разработчик обновлятора).
Как помочь сайту: расскажите (кнопки поделиться ниже) о нём своим друзьям и коллегам. Сделайте это один раз и вы внесете существенный вклад в развитие сайта. На сайте нет рекламы, но чем больше людей им пользуются, тем больше сил у меня для его поддержки.
Инструкция по использованию коннектора 1С для PowerBI
Инструкция по использованию коннектора 1С для PowerBIВ этой статье мы расскажем, как использовать коннектор Power BI к 1С для получения данных и автоматического обновления в сервисе Powerbi.com
Для корректной работы необходимо выполнить 4 простых шага:
Подготовить программу Power BI Desktop для работы с коннектором PowerBI 1C
Загрузить метаданные вашей 1С в сервис connector. bi-team.ru
Загрузить требуемые данные 1C в Power BI Desktop
Настроить обновление данных в сервисе PowerBI.com через шлюз
Скачайте коннектор и положите в папку [Documents]\Power BI Desktop\Custom Connectors.
Если папка не существует, создайте ее
I. Подготовка программы Power BI Desktop для работы
с коннектором PowerBI 1C
В Power BI Desktop последовательно выберите Файл > Параметры и настройки > Параметры > Безопасность
В разделе Расширения данных выберите Разрешить загрузку любого расширения без проверок и предупреждений (не рекомендуется). Нажмите ОК и перезапустите Power BI Desktop
1. Скачайте обработку отсюда и запустите ее в 1С
II. Загрузка метаданных 1С в сервис connector. bi-team.ru
2. Выберите папку, куда будут выгружены метаданные 1С
3. Нажмите кнопку «Выгрузить структуру метаданных в файл»
4. Зарегистрируйтесь в сервисе connector.bi-team.ru
5. В личном кабинете загрузите файл MetaData.zip
6. После загрузки в личном кабинете вам будет доступен токен, который в дальнейшем потребует коннектор
1.
В PowerBI Desktop выберите пункт «Получить данные — Другое — BI-Team Connector»
III. Получение данных 1С в PowerBI
2. Заполните данные:
a. Токен доступа к сервису — из личного кабинета http://connector.bi-team.ru/personal/index
b. Имя сервера с ms sql базой 1С — IP или имя MS SQL сервера
c. Имя базы 1С — наименование копии базы 1С, откуда необходимо получить данные
3. В окне авторизации выберите «Базовый» и введите логин и пароль для доступа SQL Server’у. Пользователю достаточно прав только на чтение из требуемой БД.
4. В окне «Навигатор» поставьте галочку напротив требуемых метаобъектов 1С, просмотрите
данные в окне предварительного просмотра и нажмите «Загрузить»
1. Для публикации зарегистрируйтесь на сервисе powerbi.com, сохраните проект и нажмите кнопку «Опубликовать»
IV. Настройка обновления данных через шлюз данных
2.
Скачайте и установите шлюз для установки в стандартном режиме —
https://powerbi.microsoft.com/ru-ru/downloads/
3. После настройки шлюза скопируйте в указанную папку .mez файл
4. После публикации в рабочей области найти датасет, нажать «…» — «Параметры»
5. В пункте «Подключение шлюза» нажать стрелочку вниз и выбрать «Вручную добавить в шлюз»
6. Внесите данные и нажмите кнопку «Добавить»
7. Сопоставить источник шлюза для данного датасета и нажать «Применить»
8. В разделе «Запланированное обновление» можно задать расписание обновлений, а в «Журнале обновлений» можно увидеть отчет об обновлениях
Что такое метаданные и почему они так же важны, как и сами данные?
Что такое метаданные и почему они так же важны, как и сами данные?Главная > Блог ODS > Что такое метаданные и почему они так же важны, как и сами данные?
Анализ данных и отчетность
25.
08.2016
Метаданные. Возможно, вы слышали этот термин раньше и, возможно, задавались вопросом: «Что такое метаданные?» или «почему это так же важно, как данные?» Эта статья будет попыткой дать ответы на эти два вопроса.
Поделиться этой публикацией
Метаданные можно объяснить несколькими способами:
- Данные, предоставляющие информацию о других данных.
- Метаданные обобщают основную информацию о данных, упрощая поиск конкретных экземпляров данных и работу с ними.
- Метаданные могут быть созданы вручную, чтобы быть более точными, или автоматически и содержать больше основной информации.
Узнайте больше о метаданных в этой статье: Все, что вам нужно знать о метаданных.
Короче говоря, метаданные важны . Мне нравится отвечать на этот вопрос «что такое метаданные» как таковой: метаданные — это сокращенное представление данных, к которым они относятся. Если мы используем аналогии, мы можем думать о метаданных как о ссылках на данные.
Вспомните, когда вы последний раз искали в Google. Этот поиск начался с метаданных, которые вы имели в виду о чем-то, что хотели найти. Возможно, вы начали со слова, фразы, мема, географического названия, сленга или чего-то еще. Возможности для описания вещей кажутся безграничными. Конечно, схема метаданных может быть простой или сложной, но все они имеют некоторые общие черты.
Исторический (1943 г.) реактор B в Хэнфорде является частью Исторического национального парка Манхэттенского проекта. С уважением ТРИДЕК.
Старинное происхождение: Прото-метаданные
Я не настолько стар, но достаточно взрослый, чтобы помнить, что выполнял свою работу без цифровых вспомогательных средств. В начале 90-х я был (тогда) молодым археологом, работавшим в северо-западной лаборатории Battelle Pacific над Хэнфордским проектом. Хэнфорд — это предприятие США по извлечению плутония оружейного качества. Там же США перерабатывали обогащенный уран для бомб, сброшенных на Нагасаки и Хиросиму в 1919 г.
45. У Энрико Ферми там была лаборатория, и Министерство энергетики США считало это сооружение имеющим историческое значение. В этом анекдоте есть смысл. В 1992 и 1993 годах у нас были базовые протоколы tcp/ip, но не было набора цифровых инструментов, которые есть сегодня.
Слово «происхождение» в то время использовалось для описания происхождения и природы объектов. Если я раскопаю артефакт и вырву его из контекста, то есть уберу с сайта, что произойдет с его научной ценностью? Это зависит от того, насколько хорошо я описываю это происхождение и использую ли я правильные ключевые слова и организационные принципы, которые используются для классификации, описания, анализа и отбора похожих объектов и артефактов. Вот почему разграбление археологических памятников так вредно. Объект не только потерян, но даже если он восстановлен, он утратил свое происхождение или значение!
Этот анекдот, надеюсь, формирует представление о том, что данные о данных так же важны, как и сами данные.
Без контекста данные имеют небольшую ценность для повторного использования.
Метаданные так же ценны, как и данные
Археолог упаковывает артефакт и записывает метаданные в сумку, чтобы сохранить научную ценность артефактов. Фото Клифф Майн.
Используя контекст моей работы археолога, объект теряет свою научную ценность, если он теряет свое происхождение или метаданные. Каждый артефакт упаковывается в пакеты и маркируется числовым номером на пакете, который соответствует заметкам в журнале. Часто имеются фотографии и зарисовки артефакта, сделанные на месте (в исходном состоянии) для будущих исследований. Археология не занимается поиском сокровищ. открытые данные — это не только рассказывание историй. Оба занятия интересны и увлекательны. Но полезная сторона как открытых данных, так и археологии заключается в количестве повторного использования, которое мы можем извлечь из наших объектов, будь то камни и кости или массивные наборы данных.
Теперь, когда у нас есть более общий ответ на наш первоначальный вопрос «что такое метаданные», давайте посмотрим, что сказали другие.
В качестве справки я использую два определения: одно от Международной организации по стандартизации (ISO), другое от круглых столов Белого дома, на которых я присутствовал (как по качеству данных, так и по открытым данным для государственно-частного сотрудничества), поскольку мы совместно разработали определение. в присутствии специалистов.
Определение качества данных в ISO и Круглых столах Белого дома имеет некоторые тонкие различия. Во-первых, происхождение в контексте Белого дома определяется как метаданные набора данных. Второе отличие состоит в том, что в определении качества данных ISO отсутствует измерение «своевременности». ISO предшествует широкому внедрению открытых данных. Возможно, своевременность станет частью ISO в будущем. ISO предоставляет семантическое определение качества данных, которое служит требованием к метаданным. Чтобы упростить обсуждение, мы объединим определения происхождения и семантики в третий термин, называемый метаданными.
Согласно книге Лю и Рама «Семиотическая основа для анализа исследования происхождения данных», слово «происхождение», используемое в контексте данных, имеет разные значения для разных людей.
Лю и Рам продолжают определять семантическую модель происхождения в этой и нескольких других работах как концептуальную модель из семи частей.
Лю и Рам концептуализируют происхождение данных как состоящее из семи взаимосвязанных элементов, включая что, когда, где, кто, как, что и почему. Это элементы нескольких структур метаданных. По сути, большинство схем метаданных спрашивают эти элементы об их данных.
Онтологическая модель метаданных W7
Таким образом, если мы объединяем эти два термина в метаданные, мы говорим, что метаданные предоставляют следующую информацию о данных, которые они моделируют или представляют:
- Что
- Когда
- Где
- Кто
- Как
- Какой
- Почему
Opendatasoft изначально использует подмножество DCAT для описания наборов данных. Доступны следующие метаданные:
- название,
- описание,
- язык,
- тема, ключевое слово
- , лицензия
- ,
- издатель,
- ссылок.
Можно активировать полный шаблон DCAT, добавив, таким образом, следующие дополнительные метаданные: создано, выпущено, создатель, участник, начисление, периодичность, пространственная, временная, гранулярность, качество данных
Также доступен полный шаблон INSPIRE, который можно активировать по требованию. Также можно создать полностью настраиваемый шаблон метаданных.
Множество дискуссий о качестве данных и возможности их обнаружения вращались вокруг метаданных и так называемых онтологий. Онтологии — это описания и определения отношений. Онтологии могут включать некоторые или все следующие описания/информацию:
- Классы (общие вещи, типы вещей)
- Экземпляры (отдельные вещи)
- Отношения между вещами
- Свойства вещей
- Функции, процессы, ограничения и правила, относящиеся к вещам.
Онтологии помогают нам понять отношения между вещами. Например, «телефон Android» является субъектом класса объектов «сотовый телефон».
Некоторые ссылаются на «онтологический спектр», который описывает одни структуры как слабые, а другие как сильные. Этот «спектр» заключает в себе ряд мнений относительно того, чем на самом деле является онтология.
Использование онтологий для улучшения возможности обнаружения в метаданных
Представьте, что у нас есть набор данных о разрешениях на строительство. Мы можем захотеть сравнить характер нашего набора данных разрешений с другим набором данных разрешений. К счастью для нас, появился стандарт для данных разрешений под названием BILDS. На сайте BILDS мы видим спецификацию и 9все муниципалитеты используют спецификацию BILDS. Из учетной записи BILDS GitHub мы можем увидеть набор необходимых стандартов для набора данных разрешений. (См. Требования к основным разрешениям)
Если наш набор данных соответствует схемам этих 9 муниципалитетов, то мы можем сказать, что они будут взаимодействовать. Нам все еще нужно добавить некоторые обнаруживаемые метаданные вокруг них.
Это проще, потому что все эти наборы данных имеют одинаковую схему. Наши метаданные могут предоставить стандартное определение для каждого типа заголовка столбца. Это означает, что все 9наборы данных также повысят возможность обнаружения. Мы знаем, что искать.
В начале этой статьи мы говорили об открытых данных и качестве данных. Мы также утверждали, что метаданные так же ценны, как и сами данные. Затем мы изучили некоторые аспекты анатомии и определений метаданных, онтологий, схем и стандартов.
Качество данных связано с их происхождением. Без метаданных, обеспечивающих происхождение, у нас есть набор данных без контекста. Данные без контекста, такие как артефакт, химикат, пищевая сода или любой другой случайный объект, имеют небольшую ценность. То, что я узнал на двух круглых столах в Белом доме, укрепило во мне эту концепцию. Недавно я закончил проект открытых данных для муниципалитета и собирал данные ГИС. У большинства этих данных не было метаданных, что мешало мне их использовать.
Метаданные сами по себе могут быть чрезвычайно полезными . Метаданные могут предоставлять указатели на наборы данных даже без фактических данных. Мы можем составить организационную диаграмму на основе данных, существующих по заданной теме.
Другие обсуждения определения метаданных
- Dugas, M., et al. «Меморандум «Открытые метаданные». Методы информации в медицине 54.4 (2015): 376-378.
- Деткен, Кай-Оливье, Дирк Шойерманн и Бастиан Хеллманн. «Использование расширенных определений метаданных для создания независимой от поставщика системы SIEM». Международная конференция по разведке роев . Springer International Publishing, 2015.
- Цзян, Гоцянь и др. «Использование семантических веб-технологий для создания доменных шаблонов для поддержки стандартов метаданных клинических исследований». Журнал биомедицинской семантики 7.1 (2016): 1.
- МакКрей, Джон П. и др. «Одна онтология, чтобы связать их всех: онтология META-SHARE OWL для функциональной совместимости лингвистических наборов данных в Интернете».
- Рихерт, Матиас и др. «Разработка определений метаданных исследовательской информации как серьезная проблема? Характеристика и решение с помощью визуализации аргументации». Программа 50.3 (2016).
- С. Рам и Дж. Лю, «Семиотическая структура для анализа исследований происхождения данных», Журнал вычислительной науки и техники, том. 2, стр. 221-248, 2008.)
- Уилсон, Сэмюэл П. Разработка репозитория метаданных для распределенного аннотирования файлов и обмена ими. Дисс. УНИВЕРСИТЕТ ПЕРДЮ, 2015.
Другие обсуждения онтологий и онтологии
- Поллерес, Аксель и Саймон Стейскал. «Стандарты семантической сети для публикации и интеграции открытых данных». Стандарты и стандартизация: концепции, методологии, инструменты и приложения (2015): 1.
- Дарайо, Чинция и др. «Преимущества подхода к управлению данными на основе онтологий: открытость, совместимость и качество данных». Наукометрия (2016): 1-15.
- Фукута, Наоки. «На пути к основанной на агентах платформе для лучшего доступа к открытым данным с использованием отображений онтологий и их базовой семантики». Передовая прикладная информатика (IIAI-AAI) , 4-й Международный конгресс IIAI 2015 . IEEE, 2015.
Наукометрия (2016): 1-15.Подробнее о метаданных
- Как выбрать и описать метаданные: технический документ
Статьи на ту же тему:
Метаданные
Подробнее
Тенденции данных
Все, что вам нужно знать о метаданных
Данные без контекста бессмысленны.
При представлении данных большинство людей сразу же задают множество вопросов, например: Откуда они взялись? Когда он последний раз обновлялся? Кто отвечает за ма…
Цифровая трансформация
3 способа улучшить качество данных в вашей организации
Данные низкого качества влияют на нас ежедневно, часто так, как мы даже не замечаем. Итак, нам нужны качественные данные. Но что такое качество данных и как его получить?
Гид
Руководство по метаданным
Выбор правильных метаданных
Откройте для себя наш стандартный шаблон, состоящий из 20 метаданных.
Эти атрибуты сгруппированы в 6 категорий в соответствии с известным методом опроса, используемым журналистами: 5…
Тенденции данных
Все, что вам нужно знать о метаданных
Данные без контекста бессмысленны. При представлении данных большинство людей сразу же задают множество вопросов, например: Откуда они взялись? Когда он последний раз обновлялся? Кто отвечает за ма…
Цифровая трансформация
3 способа улучшить качество данных в вашей организации
Данные низкого качества влияют на нас ежедневно, часто так, как мы даже не замечаем.
Гид
Руководство по метаданным
Выбор правильных метаданных Откройте для себя наш стандартный шаблон, состоящий из 20 метаданных. Эти атрибуты сгруппированы в 6 категорий в соответствии с известным методом опроса, используемым журналистами: 5…
Что такое метаданные? — Примеры, преимущества и сценарии использования
Метаданные являются краеугольным камнем современного стека корпоративных данных. Давайте рассмотрим, что такое метаданные, примеры метаданных, преимущества, варианты использования и почему они так важны для групп данных.
Уже реализован потенциал метаданных? Узнайте, как добавить современные метаданные в ваш современный стек данных. Скачать бесплатный учебник.
Содержание
- Что такое метаданные?
- Примеры метаданных
- Какие существуют типы метаданных?
- Почему важны метаданные?
- Как метаданные добавляют контекст к данным и помогают командам по обработке данных?
- Каковы некоторые варианты использования метаданных?
- Метаданные как фундаментальный блок для DataOps, сетки данных и современного управления данными
- Как управлять метаданными?
- Заключение по метаданным
- Что такое метаданные: Связанные чтения
Что такое метаданные?
Метаданные могут быть определены как информация, которая описывает и объясняет данные . Он предоставляет контекст с такими деталями, как источник, тип, владелец и взаимосвязь с другими наборами данных , что помогает вам понять актуальность конкретного набора данных и дает рекомендации по его использованию.
Как написали Ашиш Тусоо и Джойдип Сен Сарма в своей книге «Создание предприятия, управляемого данными, с помощью DataOps», метаданные — это данные о данных.
Вот как университетские библиотеки Университета Северной Каролины придают больше контекста определению метаданных:
Метаданные описывают набор данных (предоставляя ответы на такие вопросы, как):
- Как они были собраны?
- Когда он был собран?
- Какие предположения были сделаны в методологии сбора данных?
- Что такое географический охват?
- Есть несколько файлов? Если да, то как они связаны друг с другом?
- Каковы определения отдельных переменных и, если применимо, каковы были возможные ответы?
- Какова была калибровка любого оборудования, используемого при сборе данных? И какая версия ПО использовалась для анализа?
Примеры метаданных
Давайте рассмотрим примеров метаданных двух распространенных форматов файлов — изображения и электронной таблицы.
Файл изображения
Примеры метаданных — файл изображения Источник: Atlan
Например, приведенный выше файл изображения включает следующие метаданные :
- Марка камеры
- Используемые объективы
- Время, когда был сделан снимок
- Фокусное расстояние
- GPS-координаты 9016 местоположения Разрешение изображения
- Цветовые профили
Эти метаданные предоставляют техническую информацию об изображении, которая полезна при обработке изображения. Это также поможет вам легко найти нужные изображения.
Файл электронной таблицы
Рассмотрим другой пример — электронную таблицу.
Примеры метаданных — файл электронной таблицы Источник: Atlan
Заголовки строк и столбцов таблицы в электронной таблице являются примерами метаданных , поскольку они предлагают контекст данных.
Другое метаданные примеры включают:
- Количество строк и столбцов
- Описание источника и отношения
- Правила проверки для актива данных
- Типы данных
- Статистика столбцов — пропущенные значения, минимальные и максимальные значения и распределение гистограммы
- Владелец данных, дата создания, комментарии и информация о последних обновлениях
Сравнение данных .
metadataДанные — это необработанная информация, тогда как метаданные — это контекст этой информации.
Таким образом, данные могут включать в себя любую информацию — измерения, имена клиентов, объем продаж в регионе, имена поставщиков и многое другое.
Однако без метаданных невозможно узнать, является ли конкретная информация измерением, суммой продаж или общим объемом продаж в определенном регионе. Таким образом, метаданные — это контекстная информация, которая помогает вам понять необработанные данные .
Метаданные и данные компьютерного файла Источник: Atlan
Читать далее → Данные и метаданные
предприятия.
Какие существуют типы метаданных?
Метаданные можно разделить на 6 типов:
- Технические : Сюда входят технические метаданные, такие как количество строк или столбцов, тип данных, схема и т. д.
- Управление : Сюда входят условия управления, классификация данных, право собственности информация и т. д.
- Операционный : включает информацию о потоке данных, таких как зависимости, код и среда выполнения
- Совместная работа : включает комментарии, обсуждения и проблемы, связанные с данными
- Качество : включает метрики и меры качества, такие как статус набора данных, актуальность, выполнение тестов и их статусы
- Использование : включает информацию о том, как используется множество наборов данных, таких как количество просмотров, популярность, самые популярные пользователи и т. д.
д.6 типов метаданных Источник: Atlan
0028 .
Активные метаданные и пассивные метаданные
Пассивные метаданные — это технические метаданные, собираемые и управляемые с помощью ручных процессов.
Активные метаданные — это данные, описывающие данные, а также любые действия, предпринятые над ними.
В отличие от пассивных метаданных, активные метаданные — это постоянно активная, интеллектуальная, ориентированная на действия система, управляемая API, которая по умолчанию открыта.
В статье Forbes это сформулировано так:
Активные метаданные подразумевают, что активны как сами метаданные, так и управление.
Между тем, соучредитель Atlan Прукалпа Санкар подчеркивает его важность следующим примером:
» Активные метаданные отправляет метаданные обратно в каждый инструмент в стеке данных, предоставляя людям контекст данных, где и когда угодно им это нужно — внутри инструмента BI, когда они задаются вопросом, что на самом деле означает метрика, внутри Slack, когда кто-то отправляет ссылку на актив данных, внутри редактора запросов, когда они пытаются найти правильный столбец, и внутри Jira, когда они создают билеты для данных. инженеры или аналитики. ”
Чтобы получить более глубокое представление об активных метаданных и управлении ими, ознакомьтесь с этой статьей об управлении активными метаданными и его важности в современном стеке данных.
Эта статья даст представление о важности активного управления метаданными и о том, как оно может принести пользу современному стеку данных.
Готовы начать использовать метаданные? Вот краткий обзор ключевых тенденций и современных передовых практик
Загрузить электронную книгу
Почему важны метаданные?
Правильный контекст для данных важен для понимания и использования. Метаданные помогают сделать данные легко обнаруживаемыми, доступными, надежными и ценными.
Руководство по метаданным Университета Северной Каролины утверждает, что без метаданных набор данных непонятен. Это подчеркивает важность метаданных для понимания наборов данных.
Между тем, автор книги «Понимание метаданных» Дженн Райли считает, что метаданные — это « ключ к функциональности систем, содержащих контент, позволяющий пользователям находить интересующие объекты, записывать важную информацию о них и делиться этой информацией с другими ».
Как метаданные добавляют контекст к данным и помогают командам, работающим с данными?
Метаданные гарантируют, что данные:
- Обнаруживаемые
- Надежные
- Релевантные
- Доступные
- Безопасные
- Взаимодействующие
033
Метаданные упрощают поиск данных с помощью текстового поиска . Каждый результат поиска будет содержать достаточно контекста, чтобы объяснить, о чем идет речь. Метаданные также помогают сортировать и фильтровать результаты поиска, что значительно сокращает время, затрачиваемое на поиск и обнаружение данных.
2. Надежность
Метаданные помогают отслеживать происхождение каждого актива на протяжении его жизненного цикла . Документирование изменений в активе с течением времени упрощает его проверку, проверку и использование. Например, можно проверять наличие проблем всякий раз, когда в данные вносятся изменения, и уведомлять соответствующих нижестоящих пользователей данных.
3. Соответствующие
Важно знать, являются ли сохраненные данные актуальными и полезными для групп данных . Например, если никто не обращался к набору данных более 120 дней, то он либо устарел, либо не поддается обнаружению. Если он устарел, его можно полностью очистить.
4. Доступные
После того как необходимые данные найдены, метаданные предоставляют подробную информацию о том, как получить к ним доступ — методы аутентификации и авторизации.
5. Безопасный
Как упоминалось ранее, метаданные можно использовать для отслеживания тех, кто обращался к определенному набору данных или модифицировал его. Это также помогает отслеживать различные версии данных и классифицировать данные для настройки контроля доступа к данным. Это, в свою очередь, обеспечивает безопасность и целостность данных.
6. Совместимость
Надлежащее управление метаданными гарантирует, что весь технологический стек — различные системы, платформы и инструменты — говорит на одном языке, что делает системы совместимыми.
Каковы некоторые варианты использования метаданных?
Метаданные играют важную роль во всем, от обнаружения данных до происхождения и управления. Итак, давайте рассмотрим три основных варианта использования метаданных:
- Ускорение анализа первопричин
- Управление классификациями безопасности
- Оптимизация расходов на стек данных
потратить несколько часов, пытаясь выяснить, что пошло не так при выполнении запроса или создании отчета. Автоматизированная родословная на уровне столбцов помогает визуально изобразить поток данных — от их происхождения до преобразований, которым они подверглись. Настройка этой формы сопоставления происхождения требует отслеживания всех видов метаданных в дополнение к выполненным запросам и настроенным отчетам.
2. Управление классификациями безопасности Каждая организация имеет несколько уровней классификации данных.
Например, такие правила, как GDPR ЕС, требуют, чтобы вы разделяли и шифровали информацию PII. У вас также есть данные, которые используются различными командами, например отделом кадров или финансами. Таким образом, важно автоматически классифицировать данные и гарантировать, что только люди с правильными учетными данными могут получить к ним доступ, и в этом могут помочь метаданные.
Метаданные могут помочь вам проанализировать наиболее и наименее используемые таблицы, таблицы, используемые инструментами бизнес-аналитики, или запросы, выполнение которых занимает слишком много времени. Эта информация может быть полезна для приведения в порядок вашего хранилища данных и оптимизации его использования.
Если вы хотите проверить некоторые варианты использования метаданных, вот видео, в котором перечислены 20 вариантов использования метаданных за 20 минут.
Наконец, метаданные играют существенную роль, помогая современным командам по работе с данными применять политики управления данными, отслеживать происхождение данных, контролировать качество данных и многое другое.
Посмотрим, как.
Метаданные как фундаментальный блок для DataOps, сетки данных и современного управления данными
Метаданные и DataOps
DataOps — это коллективные усилия людей, работающих с данными, для улучшения связи, автоматизации и интеграции потоков данных в организации.
Конечной целью любой группы обработки данных является поиск, обработка и интерпретация данных, необходимых им для быстрого получения важной информации, которая поможет им выполнять свою работу. Вот где может помочь структура DataOps.
Согласно Gartner, лидеры в области данных и аналитики могут использовать DataOps для быстрого получения информации, следуя дисциплинам и процедурам обработки данных.
Чтобы платформа работала, вы должны понимать, как данные передаются и используются в вашей организации, т. е. эффективное управление метаданными.
Подробнее → Что такое DataOps?
Метаданные и сетка данных
Сетка данных представляет собой децентрализованную архитектуру данных, предложенную Жамаком Дегани (бывшим директором Emerging Technologies для ThoughtWorks в Северной Америке), в которой данные рассматриваются как продукт и управляются выделенными владельцами продуктов данных.
Целью этой архитектуры является обеспечение владения данными и подотчетности для устранения проблем с доступом к данным, обнаружением и доверием. Чтобы обеспечить это на практике, метаданные должны быть обнаруживаемыми, доступными и заслуживающими доверия.
Подробнее → Что такое сетка данных и какую роль в ней играют метаданные?
Метаданные и современное управление данными
Современное управление данными — это персонализированный, ориентированный на сообщество подход к предоставлению данных. Цель состоит в том, чтобы помочь вам понять, какие данные у вас есть, откуда они взялись, как они изменились и как их использовать.
Тщательное документирование метаданных о происхождении актива, типе данных, преобразованиях и многом другом — это первый шаг к созданию успешной структуры управления данными.
Подробнее → Управление данными и эффективное управление метаданными
Как управлять метаданными
Управление метаданными — это практика очистки, классификации и организации данных для обеспечения их точности, целостности, согласованности и удобства использования.
Это ключ к каталогизации активов данных в вашей организации и дает вам возможность доверять своим метаданным. Используя инструменты управления метаданными, вы можете настроить репозиторий метаданных и включить обнаружение метаданных, сопоставление происхождения и управление.
Чтобы приступить к управлению метаданными, вы должны разработать стратегию метаданных, используя все типы метаданных, и настроить среду, в которой метаданные легко обнаружить, понять и использовать.
Подробнее → Что такое управление метаданными?
Люди также задавали вопросы
Что такое происхождение метаданных?
Происхождение данных — это информация о происхождении и эволюции данных. Это помогает понять, откуда берутся данные и как они развивались на протяжении своего жизненного цикла, отслеживая все метаданные, SQL-запросы, отчеты BI и многое другое.
Подробнее → Происхождение данных 101
Что такое каталог метаданных?
Каталог метаданных действует как центральное хранилище с возможностью поиска для всех метаданных и данных.