Базы данных словарь данных: Что такое словарь данных? » Data-management.ru

Что такое «словарь данных» и почему он нужен специалистам по B2B-коммуникациям?

09.06.2021

Мир маркетинговых коммуникаций сегодня построен на полученных данных пользователей. Бренды тратят огромные бюджеты на анализ данных, чтобы сделать маркетинговые кампании более эффективными. Однако, многие бренды испытывают трудности уже в начале пути – у них возникают проблемы на организационном уровне изучения данных, полученных по всем каналам коммуникации. Поэтому при изучении данных стоит всегда задавать важный вопрос «А с чего начать?». Ответ простой – начните со «словаря данных».

Кристина Мацак

Менеджер по коммуникациям Fresh Russian Communications

 

«Словарь данных» (англ. — data dictionary) – это централизованное хранилище метаданных. Оно представляет собой базу данных, созданную для хранения метаданных, т.е. информации о структурах, которые содержат фактические данные. В ближайшем будущем, в эпоху пост-cookie, словари данных станут чрезвычайно важными инструментами для работы с таргетингом и своими аудиториями.

У компаний существует множество источников получения данных, от интернет-данных и данных, полученных по программе лояльности, до данных, которые предоставляет сервис поддержки клиента. С такими широкими возможностями в индустрии и развитыми бизнес-моделями, полученные данные могут отличаться друг от друга. Скорее всего, компании даже могут потребоваться разные «словари данных» для разных источников данных или систем, но все же есть несколько общих сведений, которые могут быть включены в один формат «словаря данных».

Такие сведения могут включать:

• Названия данных, содержащиеся во всех базах данных организации
• Где хранятся эти данные
• Как используются эти данные
• Классификация типов данных, включая целочисленные, вещественные и символьные данные
• Описание того, что означает каждое поле базы данных
• Источник полученных данных для каждого поля базы данных
• Классификация, какие отделы и какие сотрудники могут получать доступ к этим данным

Почему «словарь данных» столь важен для эффективной работы?

«Словарь данных» может позволить всей команде получить общие представления о данных компании, а это в свою очередь поможет лучше узнать аудиторию и в будущем выстраивать с ней коммуникацию. В большей степени в создании «словаря данных» заинтересованы маркетологи, поскольку эти знания помогут разработать более стабильную долгосрочную коммуникационную стратегию. К тому же, «словарь данных» может выявить новые виды данных, о которых отдел маркетинга ранее даже не знал. Словарь также может показать, что некоторые вещи, которые организация считала основой своей стратегии обработки данных, не совсем соответствуют действительности и нуждаются в чистке и реорганизации для более эффективного использования.

С чего начать создание / апдейт «словаря данных»?

Цель каждой компании состоит в том, чтобы объединить разрозненные наборы данных, и сделать их полезными и точными, а также получить новую информацию, которая поможет отделу маркетинга и сейлзам. Чтобы создать «словарь данных», стоит начать с ответов на следующие вопросы:

• Кто должен участвовать в процессе создания словаря?
• Кто в настоящее время имеет доступ к данным?
• Как регулярно обновляется доступ к данным и как долго он сохраняется?
• Какие вопросы конфиденциальности или безопасности относятся к данным компании и использованию этих данных?

Прежде чем вы задумаетесь о том, как дальше развиваться на рынке и как таргетинг рекламы будет изменен в будущем, вам нужно знать все о данных, которыми вы уже располагаете. «Словарь данных» в данном случае будет всегда актуальным инструментом, который позволит идти в ногу с изменениями и гарантирует бесценное преимущество перед непредсказуемыми изменениями.

Подготовлено по материалам: TheDrum.com

---

Подписывайтесь на наш Telegram-канал и будьте в курсе самых актуальных новостей В2В-коммуникаций!

Чтобы получать нашу e-mail-рассылку «Дайджест #PRinB2B», отправьте заявку на почту: [email protected].

Тэги похожих статей

Поделиться:

Словарь данных | это… Что такое Словарь данных?

Словарь данных, описанный в Словаре вычислений от IBM (IBM Dictionary of Computing) как «центральное хранилище информации о данных, такой как значение, взаимосвязи с другими данными, их иcточник, применение и формат.»^[1] Термин может иметь одно из близких по смыслу значений, относясь к базам данных и СУБД:

• документ, описывающий базу данных или комплект баз данных
• целый компонент СУБД, необходимый для определения ее структуры
• часть подпрограммного ПО, расширяющее или подменяющее встроенные словари данных СУБД

Содержание 1 Документация словаря данных 2 Словарь данных как промежуточное ПО 3 См. также 4 Ссылки 5 Дополнительные источники

Документация словаря данных

Пользователи баз данных и разработчики приложений могут получить выгоду от единого стандартизированного документа словаря данных, который перечисляет организацию, содержимое, соглашения по одной или более баз данных.^[2] Это обычно включает в себя имена и описания различных таблиц и полей в каждой базе данных, дополнительные детали такие, как тип и длина каждого элемента данных. Не существует универсального стандарта, описывающего уровень детализации в подобном документе, но есть основное описание метаданных о структуре базы данных, а не о самих данных. Документ словаря данных также может включать в себя дополнительную информацию, описывающую кодирование элементов данных. Одним из преимуществ хорошо спроектированного документа словаря данных является то, что он помогает упорядочить структуру базы данных или большого комплекса распределенных баз данных. ^[3]

Словарь данных как промежуточное ПО

В области создания приложений для баз данных, может быть полезным добавление дополнительного программного слоя словаря данных, то есть подпрограммного ПО, который будет взаимодействовать с нижележащим словарем данных СУБД. Такой «высокоуровневый» словарь данных может обеспечить дополнительные возможности и степень гибкости, который обойдет ограничения естественного «низкоуровневого» словаря данных, чье главное назначение заключается в поддержке основных функций СУБД, а не требований обычных приложений. Например, высокоуровневый словарь данных может реализовывать альтернативные ER-модели данных, приспособленных под различные приложения, которые совместно используют распространенные базы данных.^[4] Расширения словаря данных также могут помочь и в области оптимизации запросов в распределенных базах данных.^[5]

Платформы, предназначенные для быстрой разработки приложений, иногда содержат в себе высокоуровневые инструменты словаря данных, которые могут существенно снизить значимость программных требований к разработке меню, форм, отчетов и прочих компонентов приложений баз данных, включая сами базы данных. Например, PHPLens содержит библиотеку классов языка PHP для автоматизации создания таблиц, индексов и внешних ключей переносимых на разные базы данных.^[6] Другим словарем данных, основанным на PHP, является часть набора полезных программ RADICORE, автоматически создающего программные объекты, скрипты и SQL-код для меню и форм с проверкой данных и комплексными объединениями.^[7] Для платформы ASP.NET компания Base One International разработала словарь данных, обеспечивающий кросс-СУБД возможности для автоматизированного создания баз данных, проверки данных, улучшения производительности (кэширование и использование индексов), безопасность приложений, а также дополнительные типы данных.^[8]

См. также

• Моделирование данных
• ISO/IEC 11179
• Регистры метаданных

Ссылки

1. ↑ ACM, IBM Dictionary of Computing, 10th edition, 1993
2. ↑ TechTarget, SearchSOA, Что такое словарь данных?
3. ↑ AHIMA Practice Brief, Guidelines for Developing a Data Dictionary, Journal of AHIMA 77, no. 2 (February 2006): 64A-D.
4. ↑ СУБД с активным словарем данных, 11/19/1985, AT&T
5. ↑ Метод автоматизированной оптимизации запросов, использующий глобальную и параллельные локальные оптимизации для обеспечения планирования для распределенных баз данных, 02/28/1985, Honeywell Bull
6. ↑ PHPLens, Библиотека ADOdb Слоаря ДАнных для PHP
7. ↑ RADICORE, Что такое словарь данных?
8. ↑ Base One International Corp., Base One Data Dictionary

Дополнительные источники

• Yourdon, Structured Analysis Wiki, Data Dictionaries

Что такое словарь данных. Терминология данных

Словарь данных — это перечень элементов данных в базе данных или модели данных с подробным описанием их формата, взаимосвязей, значения, источника и использования.

Словарь активных и пассивных данных

Вы можете разделить словарь данных на две основные категории:

Активный (управляемый СУБД) словарь данных

Активный словарь данных встроен в большинство систем управления базами данных (СУБД).

Он доступен пользователям с набором системных таблиц или представлений и представляет информацию о таблицах, столбцах, типах данных, сценариях и других объектах в базе данных.

Каждое обновление схемы базы данных (с использованием сценариев DDL, таких как ALTER TABLE ) автоматически отражается в активном словаре данных, поэтому оно не требует какого-либо обслуживания со стороны администратора базы данных.

Системный каталог

Системный каталог, системные таблицы, представления словаря данных, представления каталога… у него много названий. Системный каталог — это набор системных таблиц или представлений, встроенных в ядро ​​базы данных (СУБД), которые позволяют пользователю получать доступ к метаданным базы данных — информации о таблицах, столбцах, сценариях и других объектах базы данных. Он также включает информацию о безопасности, журналах или работоспособности.

Информационная схема

Информационная схема

— это стандартный системный каталог, определяемый SQL-92. Это специальная схема с именем information_schema с набором предопределенных системных представлений или таблиц. Несмотря на то, что это стандарт, каждый поставщик в определенной степени реализовал этот стандарт и добавил свои собственные таблицы и столбцы.

Некоторые таблицы в information_schema :

• столы
• столбцов
• просмотров
• referential_constraints
• table_constraints

Образец запроса информационной схемы:

 выберите * из information_schema.tables
 

Системные каталоги в популярных базах данных

Вот подборка системных каталогов (словарей данных) в разных СУБД:

База данных	Каталог	Схема	Префикс
Amazon Redshift	Таблицы системного каталога		стр_*
Amazon Redshift	просмотров SVV		свв_*
База данных SQL Azure	Представления системного каталога	система
База данных SQL Azure	Информационная схема	информационная_схема
Жар-птица	Системные таблицы		RDB$
IBM Db2	Просмотры каталога	СИСКАТ
IBM Informix	Таблица системного каталога	информикс	систем*
IBM Informix	Информационная схема	информационная_схема
Интербаза	Системные таблицы		RDB$
МарияДБ	Информационная схема	информационная_схема
Microsoft Access	Список объектов базы данных (MSysObjects)
MySQL	Информационная схема	информационная_схема
Оракул	Представления словаря данных/представления каталога	СИС	ВСЕ_, ПОЛЬЗОВАТЕЛЬ_, БД_
PostgreSQL	Системные каталоги		стр_*
SAP HANA	Системные представления	система
SAP/Sybase ASE	Системные таблицы		систем*
Снежинка	Информационная схема	информационная_схема
SQL Server	Представления системного каталога	система
SQL Server	Информационная схема	информационная_схема
SQLite	Системная таблица	sqlite_master
Терадата	Представления словаря данных	ДБК
Вертика	Системные таблицы	v_каталог

Словарь пассивных данных

Словарь пассивных данных отделен от базы данных, и все изменения в структуре базы данных необходимо вносить в словарь пассивных данных вручную или с помощью специального программного обеспечения.

Пассивный словарь данных может принимать различные формы:

1. Документ или таблица

2. Инструменты

   • Каталоги данных
   • Интеграция данных/хранилища метаданных ETL
   • Инструменты моделирования данных

3. Пользовательские реализации

Подробнее о пассивном словаре данных

Элементы словаря данных

Словарь данных представляет собой таблицу с элементами данных (столбцами) в виде строк и их атрибутами в виде столбцов. Конкретные атрибуты различаются в зависимости от назначения словаря данных.

Основные элементы

Словарь данных состоит из 2 основных элементов:

1. Список таблиц (или сущностей)
2. Список столбцов (или полей, или атрибутов)

Минимальный словарь данных:

Словарь данных СУБД

Механизмы реляционных баз данных позволяют гораздо больше описывать модели данных и предоставляют эту информацию через свои словари данных. Эта информация:

• Тип данных столбца,
• Значения по умолчанию для столбцов,
• Обнуляемость столбцов,
• Отношения между таблицами (внешние ключи),
• Уникальность значений столбцов (первичный и уникальный ключи),
• Описание элементов данных

Расширенный словарь данных

Для каждой таблицы или столбца есть дополнительные атрибуты, которые архитекторы, группы или организации могут захотеть собрать, но они не поддерживаются ядрами баз данных. Все зависит от назначения словаря данных. Этими атрибутами могут быть:

• Источник,
• Смысл и цель,
• Использование,
• Содержит конфиденциальные данные,
• Список значений,
• Строковые форматы,
• Этикетка формы пользовательского интерфейса,
• Владелец,

и многие другие.

В этом случае команды могут собирать эту информацию во внешнем документе или специальном программном обеспечении (называемом инструментом словаря данных , хранилищем метаданных , каталогом данных ).

Функции словаря данных

Словарь данных может использоваться для различных целей. Эти ключевые цели:

1. Словарь данных в системах баз данных (СУБД)

Все основные системы управления реляционными базами данных хранят информацию о структурах данных в специальных структурах — предопределенных таблицах или представлениях, которые содержат метаданные о каждом элементе базы данных — таблицах, столбцах, индексах, внешних ключах, ограничениях и т. д.

Этот тип словаря данных служит для предоставления пользователям и инструментам информации о схеме базы данных — обо всех элементах модели данных и программах.

Узнать больше:

• Словарь данных в реляционных базах данных
• Просмотр каталога запросов к словарю данных реляционных баз данных

2. Моделирование данных

Словарь данных

можно использовать как инструмент для моделирования данных. Это можно сделать с помощью специального инструмента моделирования данных, обычной электронной таблицы или документа. В этом случае словарь данных служит спецификацией сущностей и их полей и помогает бизнес-аналитикам, профильным экспертам и архитекторам собирать требования и моделировать предметную область. Затем на основе этого документа проектируются и реализуются физическая база данных и приложение.

3. Документация

Словарь данных также можно использовать в качестве справочника и каталогизации существующих активов данных — таблиц в базах данных, электронных таблиц, файлов и т.д.

Этого можно добиться с помощью нескольких форматов и инструментов:

• Экспорт HTML или PDF только для чтения из СУБД с инструментами базы данных
• Электронные таблицы, подготовленные и поддерживаемые вручную,
• Средства моделирования данных с использованием обратного проектирования,
• Средства документирования баз данных,
• Хранилища метаданных/каталоги данных

Словарь форм данных

Словари данных существуют в нескольких различных формах:

1.

Словарь данных СУБД

Чаще всего словарь данных встроен в большинство систем баз данных, часто называемый словарем данных, системным каталогом или системными таблицами.

2. Документ

Словарь данных может быть в форме текстового или HTML-документа или электронной таблицы, отделенной от любого физического источника данных. Мы можем далее разделить эту форму на:

• Ручной документ — текстовый документ или электронная таблица, созданные и поддерживаемые вручную, используемые для моделирования или документирования,
• Статический экспортированный документ — обычно документ HTML или PDF, созданный автоматически из схемы базы данных с помощью инструмента или моделей данных.

3. Хранилище метаданных

Организации, которые хорошо разбираются в управлении данными, внедряют специальное программное обеспечение, которое извлекает, управляет и предоставляет доступ к словарю данных активов данных в нескольких базах данных. Это программное обеспечение можно назвать Хранилище метаданных (более широкий термин) или Каталог данных (более конкретная и актуальная концепция).

Словарь данных в жизненном цикле базы данных

На приведенной ниже диаграмме показано, где появляется словарь данных в процессе проектирования, управления и документирования баз данных.

Включите JavaScript для просмотра комментарии на базе Disqus.

словарей данных | Геологическая служба США

Что содержится в словаре данных?

Словари данных хранят и передают метаданные о данных в базе данных, системе или данных, используемых приложениями. В этом видео представлено полезное введение в словари данных. Содержимое словаря данных может варьироваться, но обычно включает некоторые или все из следующих элементов:

• Список объектов данных (имена и определения)
• Подробные свойства элементов данных (тип данных, размер, допустимость значений NULL, необязательность, индексы)
• Сущность-связь (ER) и другие диаграммы системного уровня
• Справочные данные (классификационные и описательные области)
• Отсутствуют коды данных и индикаторов качества
• Бизнес-правила, например, для проверки схемы или качества данных

 

Как используются словари данных 

• Документация  – предоставление сведений о структуре данных для пользователей, разработчиков и других заинтересованных сторон
• Связь  – предоставить пользователям общий словарь и определения для общих данных, стандартов данных, потоков данных и обмена ими, а также помочь разработчикам оценить влияние изменений схемы
• Дизайн приложения  — помощь разработчикам приложений в создании форм и отчетов с правильными типами данных и элементами управления, а также обеспечение соответствия навигации взаимосвязям данных
• Системный анализ  – позволяет аналитикам понять общий дизайн системы и поток данных, а также найти, где данные взаимодействуют с различными процессами или компонентами
• Интеграция данных  — четкие определения элементов данных обеспечивают контекстуальное понимание, необходимое при принятии решения о том, как сопоставить одну систему данных с другой, а также о том, нужно ли создавать подмножества, объединять, складывать или преобразовывать данные для конкретного использования
• Принятие решений  – помощь в планировании сбора данных, разработке проектов и других совместных усилиях

 

Словари данных предназначены для совместного использования

Для групп людей, работающих с похожими данными, наличие общего словаря данных облегчает стандартизацию за счет документирования общих структур данных и предоставления точного словаря, необходимого для обсуждения конкретных элементов данных. Общие словари гарантируют, что значение, актуальность и качество элементов данных одинаковы для всех пользователей. Словари данных также предоставляют информацию, необходимую тем, кто создает системы и приложения, поддерживающие данные. Наконец, при наличии общего, проверенного и задокументированного ресурса данных нет необходимости создавать отдельную документацию для каждой реализации.

Примеры общих словарей данных Геологической службы США

• Словарь данных EarthExplorer USGS Landsat
• Словарь данных поверхностных отложений из залива Мэн, залива Джорджес и подборка ГИС окрестностей (Отчет USGS Open File 03-001)
• Словарь данных отдельных кадров аэрофотосъемки
• Словарь данных National Elevation Dataset (NED) [PDF]
  (Только пример — скоро будет доступен обновленный словарь данных NED)
• Национальный словарь данных набора гидрографических данных
   

Примеры словарей данных, не принадлежащих Геологической службе США

• Словарь планетарных наук (НАСА)
• Словарь данных продуктов MODIS уровня 1B (NASA)
• Словарь данных по сорбции и разложению органического углерода в отдельных глобальных почвах (ORNL)
• Словарь данных оценки рисков для здоровья человека (ORNL)
• Климатические и прогнозные условные обозначения Название стандарта Таблица
• Словарь данных для Национальной базы данных глубоководных кораллов (NOAA)
• Словарь данных системы планетарных данных JPL

 

Поддерживайте актуальность словаря данных 

Заранее планируйте хранение данных в начале любого проекта, разработав схему или модель данных в качестве руководства по требованиям к данным. По мере определения необходимых и необязательных элементов данных добавьте их в словарь данных. Когда структуры данных изменяются, обновляйте словарь. Старайтесь использовать соглашения об именах, соответствующие системе или предметной области. Самый простой путь — принять и процитировать стандарт данных, избегая, таким образом, необходимости предоставлять и управлять собственной документацией.

План управления исследовательскими данными научного центра Аляски [PDF] содержит отличные примеры формы описания данных и других форм для сбора метаданных до, во время и в конце проекта.

 

Словари данных могут выявлять неправильные проектные решения 

Как для рецензентов данных, так и для пользователей данных словарь данных может выявить потенциальные проблемы достоверности данных. Плохая организация таблиц и именования объектов могут серьезно ограничить понятность данных и простоту использования, неполные определения данных могут сделать звездные данные практически бесполезными, а неспособность поддерживать словарь в актуальном состоянии с фактическими структурами данных свидетельствует об отсутствии управления данными. Хотя получение критических отзывов об их данных может быть изначально проблематичным для некоторых создателей данных, выработка хороших привычек проектирования и описания данных стоит затраченных усилий и в конечном итоге приносит пользу всем, кто будет использовать данные.

Узнайте больше о соглашениях об именах и найдите руководства по написанию описаний столбцов в разделе «Рекомендации по определению и использованию словаря данных» и «Руководстве капитана Очевидности по описаниям столбцов — рекомендации словаря данных».

 

Создание словаря данных

Большинство систем управления базами данных (СУБД) имеют встроенные активные словари данных и могут генерировать документацию по мере необходимости (SQL Server, Oracle, mySQL). То же самое верно и при проектировании систем данных с использованием CASE-инструментов (автоматизированная разработка программного обеспечения). Инструмент Analyzer с открытым исходным кодом для MS Access можно использовать для документирования баз данных Access и данных, связанных с Access (SQL Server, Oracle и другие). Наконец, используйте Пустой шаблон словаря данных, чтобы вручную создать простой «словарь данных» в Excel.

Информацию о создании словаря данных в формальном файле метаданных (раздел «Сущность и атрибут») см. на странице «Метаданные».

 

Что требуется в Руководстве Геологической службы США

 

Глава 502.7 Руководства по геологоразведке Геологической службы США – Фундаментальные научные методы: метаданные для научных информационных продуктов Геологической службы США, включая данные требует, чтобы записи метаданных данных включали такую ​​информацию, как кто произвел данные и почему , методологии и цитирование, методы сбора и обработки, определения сущностей и атрибутов, географическое положение и любые ограничения доступа или использования, все из которых облегчают оценку данных и информации для использования.

 

Связанные темы

• Методы сбора данных – проверка словаря данных при получении данных из внешних источников
• Форматы данных и файлов – захват имен и свойств файлов, таблиц и полей в словаре данных
• Моделирование данных — сбор требований к данным и использование стандартов проектирования для создания словарей данных
• Стандарты данных – используйте стандарт, включающий полностью определенную структуру данных
.
• Шаблоны данных – используйте шаблон для предопределенной схемы и словаря данных 9.0038
• Домены – включить домены (справочные списки, таблицы поиска) как часть информации словаря
• Соглашения об именах — применяйте последовательный подход для создания осмысленных имен таблиц и полей; рассмотрите аналогичное соглашение об именах для файлов и папок
• Организовать файлы и данные — включить имена и описания файлов данных в метаданные и связать имена файлов с таблицами в словаре данных

 

Ссылки

Общие

• DOI. 2008 г. Руководство по управлению качеством данных [PDF].
• Научная аналитика и синтез (SAS) Геологической службы США — Тезаурус биосложности.
• Северо-западная сеть экологических данных. Лучшие практики для определений и использования словаря данных [PDF].
• Крейвен, Т. Университет Западного Онтарио. Построение тезауруса: Добро пожаловать во вводный курс по построению тезауруса

Примеры, инструменты и шаблоны

•  Метаданные объекта/атрибута для: Knight, R.