PostgreSQL — Свободная объектно-реляционная СУБД / Хабр
Свободная объектно-реляционная СУБД
Статьи Авторы Компании
Сначала показывать
Порог рейтинга
Уровень сложности
Время прочтения 12 мин
Просмотры2.8K
PHP *PostgreSQL *
Обзор
Recovery mode
Год назад ФНС прекратила выкладывать базу ФИАС в формате DBF, теперь база доступна только в формате XML. Данные из DBF можно было вставлять в базу как есть, с XML так не получается, перед вставкой в базу, XML надо парсить, и это занимает время. Полная база ФИАС занимает 290 GB, парсинг такого объёма занимает значительное время.
Это время можно сократить, если парсинг распараллелить.
Я разработал несколько скриптов для создания и импорта базы. Эта статья будет о том как с помощью этих скриптов развернуть базу ФИАС за 9 часов на 6-ти ядерном процессоре.
Читать далее
Всего голосов 6: ↑3 и ↓3 0
Комментарии 12
edeshinaВремя прочтения 10 мин
Просмотры22K
Блог компании Southbridge Системное администрирование *PostgreSQL *Программирование *Администрирование баз данных *
Кейс
Перевод
За последние несколько лет многие компании перешли с MongoDB на PostgreSQL, в том числе известное онлайн-издание The Guardian.
Читать далее
Всего голосов 47: ↑31 и ↓16 +15
Комментарии 22
naumov_evgВремя прочтения 20 мин
Просмотры1.5K
PostgreSQL *
Статья о создании супергибкой системы проверки прав к ресурсам на основе клэймов и политик. В свое время был вдохновлен реализацией Claims‑based authorization in ASP.NET Core, но нужно было на Node.js (а теоретически на любую платформу, где используется PostgreSQL). Поэтому решил написать функцию проверки прав на PL/pgSQL. Если интересно, го.
Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 1
igor_suhorukov
000Z» title=»2023-02-02, 08:42″>2 фев в 08:42
Время прочтения 28 мин
Просмотры16K
PostgreSQL *Java *OpenStreetMap *Геоинформационные сервисы *
Когда человек раньше говорил что он контролирует весь мир, то его обычно помещали в соседнюю палату с Бонапартом Наполеоном. Надеюсь, что эти времена остались в прошлом и каждый желающий может анализировать геоданные всей земли и получать ответы на свои глобальные вопросы за минуты и секунды. Я опубликовал Openstreetmap_h4 — свой проект, который позволяет производить геоаналитику над данными из OpenStreetMap в PostGIS или в движке запросов, способном работать с Apache Arrow/Parquet.
Первым делом передаю привет хейтерам и скептикам. То что я разработал — действительно уникально и решает проблему преобразования и анализа геоданных используя обычные и привычные инструменты доступные каждому аналитику и датасаенс специалисту без бигдат, GPGPU, FPGA. То что выглядит сейчас простым в использовании и в коде — это мой личный проект в который я инвестировал свои отпуска, выходные, бессонные ночи и уйму личного времени за последние 3 года.
Может быть я поделюсь и предысторией проекта и граблями по которым ходил, но сначала я все же опишу конечный результат.
Первый пост не претендует на монографию, начну с краткого обзора…
Читать далее
Всего голосов 68: ↑68 и ↓0 +68
Комментарии 18
edeshinaВремя прочтения 10 мин
Просмотры11K
Блог компании Southbridge Системное администрирование *PostgreSQL *Программирование *Администрирование баз данных *
Туториал
Перевод
В статье рассказываем, как оптимизировать базу данных PostgreSQL на примере Linux на IBM Z. Опираясь на представленные примеры, вы шаг за шагом узнаете, какие опции и параметры конфигурации улучшат установку PostgreSQL с точки зрения:
Читать далее
Всего голосов 17: ↑16 и ↓1 +15
Комментарии 9
AshBlade
000Z» title=»2023-01-31, 14:00″>31 янв в 14:00
Время прочтения 33 мин
Просмотры2.8K
Open source *PostgreSQL *Анализ и проектирование систем *C *Реверс-инжиниринг *
Приветствую!
На прошлом шаге мы дошли до входной точки Postgres. Сегодня мы пройдемся по ней до главного цикла. Будут рассмотрены:
— Модули для работы с файлами и файловой системой
— Как SIGUSR1передает множественные значения
— Реализации хэш‑таблиц
— Представление и хранение GUC
и многое другое.
Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 2
dim-evВремя прочтения 6 мин
Просмотры6.6K
PostgreSQL *Data Mining *NoSQL *Научно-популярное Data Engineering *
Из песочницы
Можно ли найти конкретного человека, жившего в XVII веке? Выражаясь современным языком «пробить по базам».
Данные проблемы предполагается решить с помощью создания базы данных служилых людей XVII века. Об этом небольшая история.
Как всё начиналось.
Привет! Меня зовут Дмитрий и вот уже более 10 лет я изучаю историю южных уездов России XVII века. Территориально – это современные Белгородская, а также соседние Воронежская, Курская, Липецкая и другие области. Населены они были тогда так называемыми служилыми людьми – они получали здесь в качестве служебного жалования земельные наделы, которые сами и обрабатывали.
Продолжим?
Всего голосов 57: ↑56 и ↓1 +55
Комментарии 13
NaumenDiskВремя прочтения 14 мин
Просмотры1.5K
Блог компании NAUMEN Поисковые технологии *Python *PostgreSQL *Хранение данных *
В процессе работы над проектом мы рассмотрели различные способы организации Full Text Search (FTS) по файлам. И… отказались от них в пользу своего решения, которое базируется на стандартных методах. В статье я опишу путь построения полнотекстового поиска по файлам для веб приложения с акцентом на задачи FTS.
Читать далее
Всего голосов 11: ↑10 и ↓1 +9
Комментарии 7
Digital_League
000Z» title=»2023-01-26, 11:15″>26 янв в 11:15
Время прочтения 10 мин
Просмотры5.3K
Блог компании Лига Цифровой Экономики Oracle *PostgreSQL *IT-инфраструктура *IT-компании
Summary: Сотрудники Лиги Цифровой Экономики Юлия Крашеница, DBA PostgreSQL, Андрей Ходус, ведущий эксперт, и Елена Жикривецкая, старший эксперт PostgreSQL, рассказали об особенностях миграции с системы управления базами данных Oracle на PostgreSQL и возникших сложностях, а еще поделились своим опытом их решения.
Читать далее
Всего голосов 17: ↑16 и ↓1 +15
Комментарии 6
krpshВремя прочтения 5 мин
Просмотры3.6K
PostgreSQL *Серверное администрирование *Администрирование баз данных *
Из песочницы
В статье описывается один из способов обновления дистибутива операционной системы с работающим кластером баз данных Postgres Pro Standard версии 11.
Читать далее
Всего голосов 13: ↑11 и ↓2 +9
Комментарии 4
Andrey_BiryukovВремя прочтения 6 мин
Просмотры6.2K
Блог компании OTUS PostgreSQL *
Сейчас трудно себе представить «боевую» инсталляцию любой серьезной СУБД в виде единственного инстанса.
Конечно, некоторые приложения требуют для своей работы использование локальных баз данных, но если мы говорим о сетевом многопользовательском режиме работы, то здесь использование только одной инсталляции это очень плохая идея.
Основной проблемой единственной инсталляции естественно является надежность. В случае падения сервера нам потребуется некоторое, возможно значительное, время на восстановление. Так восстановление террабайтной базы может занять несколько часов.
Да и исправный бэкап есть не всегда, но об этом мы уже говорили в предыдущей статье.
Читать далее
Всего голосов 14: ↑11 и ↓3 +8
Комментарии 16
deadfosterВремя прочтения 11 мин
Просмотры2.1K
Блог компании Axenix (ex-Accenture) PostgreSQL *Администрирование баз данных *
Один из важнейших аспектов, за которым должен следить каждый администратор баз данных PostgreSQL — процесс поддержания «здоровья» базы данных vacuum / autovacuum, удаляющий из памяти неактуальные версии табличных строк и сбрасывающий счётчик транзакций.
В этой статье я систематизировал особенности vacuum / autovacuum, с которыми сталкиваются администраторы MPP-РСУБД.
Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 8
KilorВремя прочтения 2 мин
Просмотры7.1K
Блог компании Тензор Высокая производительность *PostgreSQL *SQL *Администрирование баз данных *
Туториал
Сегодняшняя задача вполне традиционна для любых учетных систем — поиск записей, содержащих максимальное значение по каждому из ключей. Что-то вроде «покажи мне последний заказ по каждому из клиентов«, если переводить в прикладную область.
Кажется, что тут и споткнуться-то негде в реализации — но все оказывается совсем не тривиально.
Читать далее
Всего голосов 24: ↑22 и ↓2 +20
Комментарии 42
Andrey_Biryukov
000Z» title=»2023-01-12, 18:03″>12 янв в 18:03
Время прочтения 7 мин
Просмотры11K
Блог компании OTUS PostgreSQL *Администрирование баз данных *
Туториал
Резервное копирование является одной из основных задач администрирования баз данных. Отсутствие бэкапа может привести к катастрофическим последствиям при эксплуатации базы данных. Однако недостаточно только настроить регулярное создание резервных копий, необходимо также регулярно проверять созданные копии на способность к восстановлению БД. В этой статье мы поговорим от том, как правильно настраивать резервное копирование в БД PostgreSQL.
Читать далее
Всего голосов 16: ↑13 и ↓3 +10
Комментарии 15
billexpВремя прочтения 12 мин
Просмотры 8.
7K
Блог компании Postgres Professional Open source *PostgreSQL *Хранение данных *Хранилища данных *
У нас не подгорит!
Как PostgreSQL хранит большие значения столбцов? Какие явные и неявные ограничения есть у существующего механизма хранения? Что за проблемы вызваны этими ограничениями? И как можно решить эти проблемы, и расширить возможности PostgreSQL? Об этом, и чуть больше — данная статья.
Читать далее
Всего голосов 58: ↑58 и ↓0 +58
Комментарии 13
SaZhaВремя прочтения 7 мин
Просмотры30K
MySQL *PostgreSQL *SQL *Администрирование баз данных *
Из песочницы
Даже самый простой SQL запрос можно выполнить по-разному. Но из всех вариантов СУБД нужно выбрать оптимальный, как же это сделать? Неужели придётся перебрать все возможные варианты? Давайте разбираться.
Читать далее
Всего голосов 24: ↑24 и ↓0 +24
Комментарии 19
AshBladeВремя прочтения 16 мин
Просмотры2.2K
Open source *PostgreSQL *Анализ и проектирование систем *C *Реверс-инжиниринг *
В предыдущем посте мы остановились на моменте форка процесса для бэкэнда.
Сегодня рассмотрим как происходит инициализация дочерних процессов после форка от Postmaster, некоторые системные вызовы Linux, goto, парсинг стартап пакета и многие хаки.
Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 0
Igor_LeВремя прочтения 7 мин
Просмотры 2.
5K
Блог компании Postgres Professional PostgreSQL *
В этом, 12-м номере мы собрали интересные ссылки со всех Постгрессо, начиная с январского.
Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0
val6852Время прочтения 6 мин
Просмотры14K
PostgreSQL *Программирование *Java *
Перевод
Базы данных не являются очередями сообщений — это устоявшееся утверждение, которое обсуждалось во многих статьях в блогах и презентациях на конференциях. Но с развитием реляционных баз данных выдерживает ли это утверждение проверку? Если посмотреть на современные версии Postgres, то ответ часто оказывается отрицательным.
Поэтому в этой статье рассматривается упрощенный механизм уведомлений Postgres и обсуждается, как его можно использовать для реализации простой, но эффективной очереди сообщений на основе push-уведомлений.
В ней также рассматривается использование этой очереди для взаимодействия между репликами в развертывании Kubernetes и реализация библиотеки для универсальной обработки задач.
Читать далее
Всего голосов 14: ↑12 и ↓2 +10
Комментарии 10
edeshinaВремя прочтения 5 мин
Просмотры7.1K
Блог компании Southbridge PostgreSQL *Big Data *DevOps *Распределённые системы *
Обзор
Перевод
В этой статье поговорим о Greenplum — СУБД, основанной на PostgreSQL. Разберём её общую архитектуру, способы хранения данных, а также перечислим проблемы, с которыми можно столкнуться в ходе эксплуатации.
Читать далее
Всего голосов 18: ↑15 и ↓3 +12
Комментарии 0
Подключение к источнику данных PostgreSQL (мастер импорта и экспорта SQL Server) — SQL Server Integration Services (SSIS)
Twitter LinkedIn Facebook Адрес электронной почты
- Статья
- Чтение занимает 2 мин
Применимо к: SQL Server Integration Runtime служб SSIS в Фабрика данных Azure
В этом разделе показано, как подключаться к источникам данных PostgreSQL со страницы Выбор источника данных или Выбор назначения в мастере импорта и экспорта SQL Server.
Важно!
Подробные требования и необходимые условия для подключения к базе данных PostgreSQL выходят за рамки этой статьи Майкрософт. В ней предполагается, что у вас уже установлено клиентское программное обеспечение PostgreSQL и вы можете успешно подключиться к целевой базе данных PostgreSQL. Для получения дополнительных сведений обратитесь к администратору базы данных PostgreSQL или к документации по PostgreSQL.
Получение драйвера ODBC для PostgreSQL
Установка драйвера ODBC с помощью построителя стека
Запустите построитель стека, чтобы добавить драйвер ODBC для PostgreSQL (psqlODBC) в вашу установку PostgreSQL.
Скачивание последней версии драйвера ODBC
Или скачайте установщик Windows для последней версии драйвера ODBC для PostgreSQL (psqlODBC) прямо с этого FTP-сайта — https://www.postgresql.org/ftp/odbc/versions/msi/. Извлеките содержимое ZIP-файла и запустите файл MSI.
Подключение к PostgreSQL с помощью драйвера ODBC для PostgreSQL (psqlODBC)
Драйверы ODBC не приводятся в раскрывающемся списке источников данных.
Чтобы подключиться с помощью драйвера ODBC, сначала выберите поставщик данных .NET Framework для ODBC в качестве источника данных на странице Выбор источника данных или Выбор назначения. Этот поставщик служит оболочкой для драйвера ODBC.
Ниже показан экран, который появляется сразу после выбора поставщика данных .NET Framework для ODBC.
Указываемые параметры (драйвер ODBC для PostgreSQL)
Примечание
Параметры подключения для этого поставщика данных и драйвера ODBC одинаковы независимо от того, является ли PostgreSQL источником или назначением. Таким образом, на страницах Выбор источника данных и Выбор назначения мастера отображаются одинаковые параметры.
Чтобы подключиться к PostgreSQL с помощью драйвера ODBC для PostgreSQL, соберите строку подключения, используя указанные ниже параметры и их значения. Полный формат строки подключения приведен после списка параметров.
Совет
Вы можете получить помощь в построении строки подключения. Кроме того, вместо указания строки подключения вы можете предоставить существующее имя DSN (имя источника данных) или создать новое. Дополнительные сведения об этих возможностях см. в разделе Подключение к источнику данных ODBC.
Драйвер
Имя драйвера ODBC — PostgreSQL ODBC Driver(UNICODE) или PostgreSQL ODBC Driver(ANSI).
Server
Имя сервера PostgreSQL.
порт.
Порт, используемый для подключения к серверу PostgreSQL.
База данных
Имя базы данных PostgreSQL.
Uid и Pwd
Uid (идентификатор пользователя) и Pwd (пароль) для подключения.
Формат строки подключения
Ниже приведен формат типичной строки подключения.
Driver={PostgreSQL ODBC Driver(UNICODE)};Server=<server>;Port=<port>;Database=<database>;UID=<user id>;PWD=<password>
Ввод строки подключения
Введите строку подключения в поле ConnectionString либо введите имя DSN в поле Dsn на странице Выбор источника данных или Выбор назначения.
После того как вы введете строку подключения, мастер проанализирует ее и отобразит отдельные свойства и их значения в списке.
В приведенном ниже примере используется следующая строка подключения:
Driver={PostgreSQL ODBC Driver(UNICODE)};Server=127.0.0.1;Port=5432;Database=postgres;UID=postgres;PWD=********
Ниже показан экран, который появляется после ввода строки подключения.
Сведения о подключении к PostgreSQL с помощью поставщика данных, не представленного в этом списке, см. в разделе Строки подключения PostgreSQL. Этот сторонний сайт также содержит дополнительные сведения о поставщиках данных и параметрах подключения, описанных на этой странице.
См. также раздел
Выбор источника данных
Выбор назначения
Администрирование PostgreSQL
Администрирование PostgreSQL охватывает наиболее важные действия по администрированию сервера базы данных PostgreSQL.
Раздел 1. Управление базами данных
В этом разделе вы узнаете, как управлять базами данных в PostgreSQL, включая создание баз данных, изменение существующих функций базы данных и удаление баз данных.
- Создать базу данных — создать новую базу данных с помощью инструкции
CREATE DATABASE. - Изменить базу данных — изменить функции существующей базы данных с помощью инструкции
ALTER DATABASE. - Переименовать базу данных — изменить имя базы данных на новое.
- Удаление базы данных — безвозвратно удаляет базу данных с помощью инструкции
DROP DATABASE. - Копировать базу данных — копирование базы данных на сервере баз данных или с одного сервера на другой.
- Получение размеров объектов базы данных — познакомит вас с различными удобными функциями для получения размера базы данных, таблицы и индексов.
Раздел 2. Управление схемами
- Схема — вводит понятие схемы и объясняет, как работает путь поиска схемы в PostgreSQL.
- Создать схему — показать вам, как создать новую схему в базе данных.
- Изменить схему – переименовать схему или изменить ее владельца на нового.
- Удалить схему – удалить из базы данных одну или несколько схем вместе с их объектами.
Раздел 3. Управление табличными пространствами
Табличные пространства PostgreSQL позволяют управлять тем, как данные хранятся в файловой системе. Табличные пространства очень полезны во многих случаях, таких как управление большими таблицами и повышение производительности базы данных.
- Создание табличных пространств — познакомит вас с табличными пространствами PostgreSQL и покажет, как создавать табличные пространства с помощью инструкции
CREATE TABLESPACE. - Изменение табличных пространств — показано, как переименовать, изменить владельца и установить параметр для табличного пространства с помощью инструкции
ALTER TABLESPACE. - Удалить табличные пространства — узнайте, как удалять табличные пространства с помощью оператора
DROP TABLESPACE.
Раздел 4. Роли и права
PostgreSQL представляет учетные записи как роли. Роли, которые могут входить в систему, называются ролями входа или пользователями. Роли, которые содержат другие роли, называются групповыми ролями. В этом разделе вы узнаете, как эффективно управлять ролями и группами.
- Создать роль: познакомить вас с концепцией ролей и показать, как создавать роли и группы с помощью оператора
create role. - Grant — покажет вам, как предоставить привилегии на объекты базы данных роли.
- Отменить — руководство по отзыву предоставленных привилегий на объекты базы данных из роли.
- Изменить роль — показать вам, как использовать оператор alter role для изменения атрибутов ролей, переименования ролей и установки параметров конфигурации.
- Удалить роль — узнайте, как удалить роль, особенно роль с зависимыми объектами.
- Членство в ролях — узнайте, как создавать групповые роли, чтобы лучше управлять членством в ролях.
- Список ролей пользователей — покажет вам, как составить список всех ролей на сервере PostgreSQL.
Раздел 5. Резервное копирование и восстановление баз данных
В этом разделе показано, как использовать различные инструменты резервного копирования и восстановления PostgreSQL, включая pg_dump , pg_dumpall , psql , pg_restore и pgAdmin для резервного копирования и восстановления баз данных.
- Резервное копирование — познакомит вас с практическими способами резервного копирования ваших баз данных с помощью инструмента резервного копирования PostgreSQL, включая
pg_dumpиpg_dumpall. - Восстановление — показывает различные способы восстановления баз данных PostgreSQL с помощью
инструменты psqlиpg_restore.
Раздел 6. Советы по PostgreSQL
- Сброс пароля — покажет вам, как сбросить забытый пароль пользователя postgres.
- Команды psql — самые распространенные команды psql, которые помогут вам быстрее и эффективнее запрашивать данные из PostgreSQL.
- Describe Table – получить информацию о конкретной таблице.
- Показать базы данных — список всех баз данных на текущем сервере базы данных.
- Показать таблицы — показать все таблицы в текущей базе данных.
PostgreSQL PL/pgSQL
В этом разделе показано, как использовать PL/pgSQL для разработки пользовательских функций и хранимых процедур PostgreSQL.
Процедурный язык PL/pgSQL добавляет множество процедурных элементов, например управляющие структуры, циклы и сложные вычисления, для расширения стандартного SQL. Он позволяет разрабатывать сложные функции и хранимые процедуры в PostgreSQL, что может быть невозможно при использовании простого SQL.
Процедурный язык PL/pgSQL аналогичен Oracle PL/SQL. Вот причины для изучения PL/pgSQL:
- PL/pgSQL прост в освоении и использовании.
- PL/pgSQL по умолчанию поставляется с PostgreSQL. Пользовательские функции и хранимые процедуры, разработанные в PL/pgSQL, можно использовать как любые встроенные функции и хранимые процедуры.
- PL/pgSQL наследует все пользовательские типы, функции и операторы.
- PL/pgSQL имеет множество возможностей, позволяющих разрабатывать сложные функции и хранимые процедуры.
- PL/pgSQL можно определить как доверенный для сервера базы данных PostgreSQL.
Приступим к программированию на PL/pgSQL.
Раздел 1. Начало работы
- Введение в PostgreSQL PL/pgSQL – познакомьте вас с PostgreSQL PL/pgSQL и объясните их преимущества и недостатки.
- Строковые константы в долларовых кавычках — узнайте, как использовать синтаксис строковых констант в долларовых кавычках.
- Структура блоков — познакомит вас со структурой блоков PL/pgSQL и покажет, как разрабатывать и выполнять анонимные блоки.
Раздел 2. Переменные и константы
- Переменные — покажет вам, как объявлять переменные в PL/pgSQL.
- Select into — руководство по использованию
select intoдля выбора данных и назначения их переменной. - Переменные типа строки — узнайте, как использовать переменные строки для хранения полной строки результирующего набора.
- Переменные типа записи — показано, как объявить переменные записи для хранения одной строки результирующего набора.
- Константы — руководство по использованию констант, чтобы сделать код более читабельным и простым в обслуживании.
Раздел 3. Отчеты о сообщениях и ошибках
- Вызов сообщений об ошибках и отчетах — покажет вам, как сообщать о сообщениях и выдавать ошибки в PL/pgSQL.
- Assert — покажет вам, как использовать оператор assert для добавления отладочных проверок в код PL/pgSQL.
Раздел 4. Структуры управления
- Оператор If — познакомьте вас с тремя формами оператора
if. - Операторы case – объясните
caseоператоров, включая простые и искомыеделозаявления. - Операторы цикла — показано, как использовать операторы цикла для повторного выполнения блока кода в зависимости от условия.
- Цикл while — узнайте, как использовать оператор цикла
whileдля создания цикла предварительного тестирования. - Цикл For — показывает, как использовать оператор цикла
forдля перебора строк результирующего набора. - Exit — руководство по использованию оператора
exitдля завершения цикла. - Продолжить — предоставить вам способ использовать
продолжить оператор, чтобы пропустить текущую итерацию цикла и начать новую.
Раздел 5. Определяемые пользователем функции
- Функция создания — показывает, как разработать определяемую пользователем функцию с помощью оператора
create function. - Режимы параметров функций — познакомьте вас с различными режимами параметров, включая
IN,OUTиINOUT.
