1С 10 3 торговля и склад самоучитель: 1С Управление торговлей 10.3 Обзор, описание, возможности

Архитектура хранилища данных

Сохранить статью

• Уровень сложности: Базовый
• Последнее обновление: 07 Дек, 2021

Читать

Обсудить

Улучшить статью

Сохранить статью

Хранилище данных представляет собой разнородный набор различных источников данных, организованных по единой схеме. Существует 2 подхода к построению хранилища данных: подход «сверху вниз» и подход «снизу вверх», которые объясняются ниже.

1. Нисходящий подход:  

Основные компоненты обсуждаются ниже:

1. Внешние источники –  
   Внешний источник – это источник, из которого собираются данные, независимо от типа данных. Данные могут быть структурированными, полуструктурированными и неструктурированными.
    
2. Область сцены –  
   Поскольку данные, извлеченные из внешних источников, не соответствуют определенному формату, поэтому необходимо проверить эти данные для загрузки в хранилище данных. Для этого рекомендуется использовать Инструмент ETL .
   • E(Extracted): Данные извлекаются из внешнего источника данных.
      
   • T(Преобразование): Данные преобразуются в стандартный формат.
      
   • L(Load): Данные загружаются в хранилище данных после преобразования в стандартный формат.
      
3. Хранилище данных –  
   После очистки данных они хранятся в хранилище данных в качестве центрального хранилища. Он фактически хранит метаданные, а фактические данные хранятся в витринах данных. Обратите внимание, , что хранилище данных хранит данные в чистом виде при таком нисходящем подходе.
    
4. Киоски данных –  
   Киоски данных также являются частью компонента хранилища. Он хранит информацию о конкретной функции организации, которая обрабатывается одним органом. В зависимости от функций в организации может быть столько же витрин данных.
   Мы также можем сказать, что витрина данных содержит подмножество данных, хранящихся в хранилище данных.
    
5. Интеллектуальный анализ данных —  
   Практика анализа больших данных, присутствующих в хранилище данных, называется интеллектуальным анализом данных. Он используется для поиска скрытых шаблонов, присутствующих в базе данных или в хранилище данных, с помощью алгоритма интеллектуального анализа данных.

   Этот подход определяется Inmon как хранилище данных как центральный репозиторий для всей организации, и витрины данных создаются из него после создания полного хранилища данных.
    

Преимущества подхода «сверху вниз» —   

1. Поскольку витрины данных создаются из хранилища данных, обеспечивается согласованное трехмерное представление киосков данных.
    
2. Кроме того, эта модель считается самой сильной моделью для бизнес-изменений. Вот почему крупные организации предпочитают следовать этому подходу.
    
3. Создать витрину данных из хранилища данных очень просто.
    

Недостатки нисходящего подхода –   

1. Стоимость, время, затрачиваемое на проектирование и обслуживание, очень высоки.
    

2. Восходящий подход:  

1. Сначала данные извлекаются из внешних источников (так же, как и при нисходящем подходе).
    
2. Затем данные проходят через промежуточную область (как описано выше) и загружаются в витрины данных вместо хранилища данных. Витрины данных создаются первыми и обеспечивают возможность составления отчетов. Он касается одной области бизнеса.
   
    
3. Эти витрины данных затем интегрируются в хранилище данных.
    

Этот подход дается Kinball , поскольку витрины данных создаются первыми и обеспечивают тонкое представление для анализа, а хранилище данных создается после создания полных витрин данных.

Преимущества подхода «снизу вверх» —   

1. Поскольку сначала создаются витрины данных, отчеты создаются быстро.
    
2. Мы можем разместить здесь больше витрин данных, и таким образом можно расширить хранилище данных.
    
3. Кроме того, затраты времени и средств на разработку этой модели относительно невелики.
    

Недостаток восходящего подхода –  

1. Эта модель не так сильна, как нисходящий подход, поскольку размерное представление витрин данных не является последовательным, как в описанном выше подходе.

Статьи по теме

Что нового

Мы используем файлы cookie, чтобы обеспечить вам максимальное удобство просмотра нашего веб-сайта. Используя наш сайт, вы подтверждаете, что вы прочитали и поняли наши Политика в отношении файлов cookie и Политика конфиденциальности

Что такое хранилище данных? Хранилище данных, объяснение интеллектуального анализа данных

Что такое хранилище данных?

Хранилище данных — это безопасное электронное хранилище информации, которое осуществляет бизнес или другая организация. Цель хранилища данных — создать кладезь исторических данных, которые можно извлечь и проанализировать, чтобы получить полезную информацию о деятельности организации.

Хранилище данных является жизненно важным компонентом бизнес-аналитики. Этот более широкий термин охватывает информационную инфраструктуру, которую современные предприятия используют для отслеживания своих прошлых успехов и неудач и информирования о своих решениях на будущее.

Ключевые выводы

• Хранилище данных — это хранилище информации в течение долгого времени в бизнесе или другой организации.
• Новые данные периодически добавляются людьми из различных ключевых отделов, таких как маркетинг и продажи.
• Хранилище становится библиотекой исторических данных, которые можно извлекать и анализировать для принятия решений в бизнесе.
• Ключевые факторы построения эффективного хранилища данных включают определение информации, которая имеет решающее значение для организации, и определение источников информации.
• База данных предназначена для предоставления информации в режиме реального времени. Хранилище данных спроектировано как архив исторической информации.

Как работает хранилище данных

Потребность в хранении данных возникла по мере того, как предприятия начали полагаться на компьютерные системы для создания, хранения и извлечения важных деловых документов. Концепция хранилища данных была представлена ​​в 1988 году исследователями IBM Барри Девлином и Полом Мерфи.

Хранилище данных предназначено для анализа исторических данных. Сравнение данных, консолидированных из нескольких разнородных источников, может дать представление о производительности компании. Хранилище данных предназначено для того, чтобы его пользователи могли выполнять запросы и анализировать исторические данные, полученные из транзакционных источников.

Данные, добавленные в хранилище, не изменяются и не могут быть изменены. Хранилище — это источник, который используется для анализа прошлых событий с упором на изменения во времени. Сохраненные данные должны храниться таким образом, чтобы они были безопасными, надежными, легко извлекаемыми и простыми в управлении.

Обслуживание хранилища данных

Существуют определенные шаги, которые предпринимаются для поддержания хранилища данных. Одним из шагов является извлечение данных, которое включает сбор больших объемов данных из нескольких источников. После того, как набор данных был скомпилирован, он проходит очистку данных, процесс прочесывания его на наличие ошибок и исправление или исключение найденных.

Затем очищенные данные преобразуются из формата базы данных в формат хранилища. После сохранения в хранилище данные проходят сортировку, консолидацию и обобщение, чтобы их было проще использовать. Со временем в хранилище добавляется больше данных по мере обновления различных источников данных.

Ключевой книгой по хранилищам данных является книга WH Inmon Building the Data Warehouse , практическое руководство, впервые опубликованное в 1990 году и несколько раз переиздававшееся.

Сегодня предприятия могут инвестировать в программные услуги облачных хранилищ данных от таких компаний, как Microsoft, Google, Amazon и Oracle, среди прочих.

Интеллектуальный анализ данных

Хранилища данных предприятий в первую очередь для интеллектуального анализа данных. Это включает в себя поиск шаблонов информации, которые помогут им улучшить свои бизнес-процессы.

Хорошая система хранения данных облегчает доступ разных отделов компании к данным друг друга. Например, отдел маркетинга может оценить данные отдела продаж, чтобы принять решение о том, как скорректировать свои кампании по продажам.

5 шагов интеллектуального анализа данных

Процесс интеллектуального анализа данных разбивается на пять этапов:

1. Организация собирает данные и загружает их в хранилище данных.
2. Затем данные хранятся и управляются либо на внутренних серверах, либо в облачной службе.
3. Бизнес-аналитики, команды менеджеров и специалисты по информационным технологиям получают доступ к данным и систематизируют их.
4. Приложение сортирует данные.
5. Конечный пользователь представляет данные в формате, удобном для обмена, например в виде графика или таблицы.

Что такое интеллектуальный анализ данных?

Концепция хранилища данных была представлена ​​двумя исследователями IBM в 1988 году.

Архитектура хранилища данных

Проектирование хранилища данных известно как архитектура хранилища данных и, в зависимости от потребностей хранилища данных, может состоять из множества уровней. Как правило, существуют архитектуры первого, второго и третьего уровня.

Одноуровневая архитектура: Одноуровневая архитектура почти не используется при создании хранилищ данных для систем реального времени. Они часто используются для пакетной обработки и обработки в реальном времени для обработки оперативных данных. Одноуровневый дизайн состоит из одного уровня аппаратного обеспечения с целью сохранения минимального объема данных.

Двухуровневая архитектура: В двухуровневой архитектуре аналитический процесс отделен от бизнес-процесса. Целью этого является повышение уровня контроля и эффективности.

Трехуровневая архитектура: Трехуровневая архитектура имеет верхний, средний и нижний уровни; они известны как исходный уровень, согласованный уровень и уровень хранилища данных. Эта конструкция подходит для систем с длительным жизненным циклом. Когда в данные вносятся изменения, выполняется дополнительный уровень проверки и анализа данных, чтобы убедиться в отсутствии ошибок.

Независимо от уровня все архитектуры хранилищ данных должны соответствовать одним и тем же пяти свойствам: разделение, масштабируемость, расширяемость, безопасность и администрируемость.

Хранилище данных и база данных

Хранилище данных — это не то же самое, что база данных:

• База данных — это транзакционная система, которая отслеживает и обновляет данные в режиме реального времени, чтобы иметь доступ только к самым последним данным.
• Хранилище данных запрограммировано на агрегирование структурированных данных во времени.

Например, в базе данных может быть только самый последний адрес клиента, а в хранилище данных могут быть все адреса клиента за последние 10 лет.

Интеллектуальный анализ данных зависит от хранилища данных. Данные в хранилище просеиваются для понимания бизнеса с течением времени.

Хранилище данных и озеро данных

Как хранилища данных, так и озера данных содержат данные для различных нужд. Основное отличие заключается в том, что озеро данных содержит необработанные данные, цель которых еще не определена. Хранилище данных, с другой стороны, содержит уточненные данные, которые были отфильтрованы для использования в определенных целях.

Озера данных в основном используются учеными, занимающимися данными, а хранилища данных чаще всего используются бизнес-профессионалами. Озера данных также более доступны и их легче обновлять, в то время как хранилища данных более структурированы, а любые изменения обходятся дороже.

Хранилище данных и киоск данных

Киоск данных — это просто уменьшенная версия хранилища данных. Витрина данных собирает данные из небольшого количества источников и фокусируется на одной предметной области. Витрины данных быстрее и проще в использовании, чем хранилища данных.

Витрины данных обычно функционируют как подмножество хранилища данных, чтобы сосредоточиться на одной области для аналитических целей, например, на конкретном отделе в организации. Витрины данных помогают принимать бизнес-решения, помогая с анализом и составлением отчетов.

Преимущества и недостатки хранилищ данных

Хранилище данных предназначено для того, чтобы дать компании конкурентное преимущество. Это создает ресурс актуальной информации, которую можно отслеживать с течением времени и анализировать, чтобы помочь бизнесу принимать более обоснованные решения.

Это также может истощить ресурсы компании и обременить текущий персонал рутинными задачами, предназначенными для питания складской машины. Некоторые другие недостатки включают следующее:

• Создание и обслуживание склада требует значительных усилий и времени.
• Пробелы в информации, вызванные человеческими ошибками, могут проявиться через годы, нарушая целостность и полезность информации.
• При использовании нескольких источников несоответствия между ними могут привести к потере информации.

Преимущества

• Предоставляет основанный на фактах анализ прошлой деятельности компании для принятия обоснованных решений.

• Служит историческим архивом релевантных данных.

• Может использоваться совместно с ключевыми отделами для максимальной полезности.

Недостатки

• Создание и обслуживание склада требует значительных ресурсов.

• Ошибки ввода могут нарушить целостность архивируемой информации.

• Использование нескольких источников может привести к несогласованности данных.

Что такое хранилище данных и для чего оно используется?

Хранилище данных — это система хранения исторических данных, которые можно анализировать различными способами. Компании и другие организации используют хранилище данных, чтобы получить представление о прошлой производительности и спланировать улучшения своей деятельности.

Что такое пример хранилища данных?

Рассмотрим компанию, производящую тренажеры. Его бестселлером является велотренажер, и компания рассматривает возможность расширения своей линейки и запуска новой маркетинговой кампании для его поддержки.

Он обращается к своему хранилищу данных, чтобы лучше понять своего текущего клиента. Он может выяснить, являются ли его клиенты преимущественно женщинами старше 50 лет или мужчинами моложе 35 лет. Он может узнать больше о розничных продавцах, которые наиболее успешно продают свои велосипеды, и о том, где они расположены. Возможно, он сможет получить доступ к результатам внутреннего опроса и узнать, что их прошлым клиентам нравилось и не нравилось в их продуктах.

Вся эта информация помогает компании решить, какие новые модели велосипедов они хотят производить и как они будут продавать и рекламировать их. Это точная информация, а не принятие решения на месте.

Какие этапы создания хранилища данных?

По данным отраслевого издания ITPro Today, создание хранилища данных состоит как минимум из семи этапов. К ним относятся:

• Определение целей бизнеса и его ключевых показателей эффективности.
• Сбор и анализ соответствующей информации.
• Определение основных бизнес-процессов, обеспечивающих ключевые данные.
• Создание концептуальной модели данных, показывающей, как данные отображаются для конечного пользователя.
• Определение источников данных и организация процесса ввода данных в хранилище.
• Установите продолжительность отслеживания. Хранилища данных могут стать громоздкими. Многие из них построены с уровнями архивирования, так что более старая информация сохраняется в менее подробном виде.
• Выполнение плана.

Является ли SQL хранилищем данных?

SQL, или язык структурированных запросов, — это компьютерный язык, который используется для взаимодействия с базой данных в терминах, которые она может понять и на которые можно реагировать.