Развертывание кластера Postgres-xl для чайников / Хабр
Здравствуйте. Хочу поделиться с хабровчанами своим опытом развертывания кластера Postgres-xl в виде мини-инструкции для «чайников». Статей и мануалов на тему развертывания кластера postgres-xl не то чтобы много, но достаточно. И в них всех есть пару существенных недостатков на взгляд такого человека как я, который никогда прежде не занимался кластеризацией и тем более никогда прежде не работал в линукс-подобных осях. Все статьи подобного рода написаны для людей уже более-менее знакомых с линуксом и развертыванием postgresql/postgres-xl на таком окружении.
Поэтому и возникло желание поделится с остальными своими наработками. Далее я пошагово опишу весь процесс развертывания, от скачивания исходников postgres-xl и их компиляции, до конфигурирования кластера.
Так как много статей «для опытных» уже написано, и на хабре тоже, я опущу описание самого Postgres-xl, его компонентов и их типов (ролей).
Часть 1. Подготовка окружения
Для тестового кластера была выбрана конфигурация из 4 узлов: GTM, GTM-Standby и 2 нода (GTM-proxy, Coordinator, Datanode):
- GTM1
192.168.1.100
GTM-Active: 6666 - GTM2
192.168.1.101
GTM-Stanby: 6666 - NODE1
192.168.1.102
GTM-Proxy1: 6666
Coordinator1: 5432
Datanode1: 15432 - NODE2
192.168.1.103
GTM-Proxy2: 6666
Coordinator2: 5432
Datanode2: 15432
Все узлы являются виртуализированными машинами с 1024 Мб оперативной памяти и процессором с частотой 2.1Ghz. В выборе дистрибутива ОС я остановился на последней версии CentOS 7.0, его установку я тоже опущу. Устанавливал Minimal версию.
Часть 2. Установка зависимостей
Итак, у нас есть 4 чистых машины с установленным CentOS.
# yum install -y wget vim gcc make kernel-devel perl-ExtUtils-MakeMaker perl-ExtUtils-Embed readline-devel zlib-devel openssl-devel pam-devel libxml2-devel openldap-devel tcl-devel python-devel flex bison docbook-style-dsssl libxslt
Т.к. мы имеем чистую установку CentOS, то я добавил в этот шаг установку wget — менеджера загрузок и vim — текстового редактора. Также после установки пакетов не лишним будет обновить остальные пакеты командой:
# yum update -y
Дождавшись окончания обновления, приступаем к следующей части процесса.
Часть 3. Загрузка исходного кода, его компиляция и установка
Для загрузки исходников выполняем команду:
# wget http://sourceforge.net/projects/postgres-xl/files/latest/download # mv download pgxl-9. 2.src.tar.gz
Или так:
# wget http://sourceforge.net/projects/postgres-xl/files/latest/download -O pgxl-9.2.src.tar.gz
Копируем скачанный архив в нужную папку и распаковываем:
# cp pgxl-9.2.src.tar.gz /usr/local/src/ # cd /usr/local/src/ # tar -xzvf pgxl-9.2.src.tar.gz
Архив распаковывается в папку postgres-xl, проверяем командой:
# ls
Для компиляции исходников и последующих установки и запуска нам нужна учетная запись не root пользователя, например:
# useradd postgres # passwd postgres
Далее вводим и повторяем пароль, затем предоставляем права этому пользователю на всю папку с исходниками:
# chown -R postgres.postgres postgres-xl # cd postgres-xl
Теперь нужно с помощью ./configure сконфигурировать исходники перед началом их компиляции, я использовал эту команду со следующими опциями:
# . /configure --with-tcl --with-perl --with-python --with-pam --with-ldap --with-openssl --with-libxml
Подробнее об этих опциях можно почитать на странице официальной документации, тут.
Если вам не нужен какой либо модуль, то его можно не устанавливать на этапе установки зависимостей, либо использовать стандартную конфигурацию:
# ./configure
Для того чтобы скомпилированные исходники были переносимыми (чтобы не выполнять все предыдущие шаги на каждом из узлов кластера), нужно добавить ещё пару параметров —prefix и —disable-rpath. В итоге команда для установки с параметрами по умолчанию будет выглядеть так:
# ./configure --prefix=/usr/local/pgsql --disable-rpath
Параметр —prefix — это путь установки, он равен ‘/usr/local/pgsql’ по умолчанию
Параметр —disable-rpath — этот параметр делает скомпилированные исходники переносимыми.
Теперь можно приступать непосредственно к самой компиляции, её нужно выполнять от имени пользователя который был создан ранее:
# su postgres $ gmake world
либо
# su postgres -c 'gmake world'
Если компиляция прошла успешно, то последняя строчка в логе должна выглядеть так:
Postgres-XL, contrib and HTML documentation successfully made. Ready to install.
Всё! Всё скомпилировано, можно копировать папку /usr/local/src/postgres-xl на остальные узлы кластера и устанавливать.
Установка происходит по команде:
# gmake install-world
Повторяем данную команду на всех узлах кластера и приступаем к конфигурированию.
Часть 4. Конфигурирование
Для начала нужно произвести некоторые пост-инсталляционные настройки. Объявление environment переменных:
# echo 'export PGUSER=postgres' >> /etc/profile # echo 'export PGHOME=/usr/local/pgsql' >> /etc/profile # echo 'export PATH=$PATH:$PGHOME/bin' >> /etc/profile # echo 'export LD_LIBRARY_PATH=$PGHOME/lib' >> /etc/profile
После чего надо перелогиниться. Логаут делаем командой:
# exitТеперь приступаем к настройке узлов кластера. Для начала создаём папку с данными и инициализируем её в соответствии с ролью сервера.
GTM1/GTM2:
# mkdir $PGHOME/gtm_data # chown -R postgres.postgres $PGHOME/gtm_data # su - postgres -c "initgtm -Z gtm -D $PGHOME/gtm_data"
NODE1:
# mkdir -p $PGHOME/data/data_gtm_proxy1 # mkdir -p $PGHOME/data/data_coord1 # mkdir -p $PGHOME/data/data_datanode1 # chown -R postgres.postgres $PGHOME/data/ # su - postgres -c "initdb -D $PGHOME/data/data_coord1/ --nodename coord1" # su - postgres -c "initdb -D $PGHOME/data/data_datanode1/ --nodename datanode1" # su - postgres -c "initgtm -D $PGHOME/data/data_gtm_proxy1/ -Z gtm_proxy"
NODE2:
# mkdir -p $PGHOME/data/data_gtm_proxy2 # mkdir -p $PGHOME/data/data_coord2 # mkdir -p $PGHOME/data/data_datanode2 # chown -R postgres.postgres $PGHOME/data/ # su - postgres -c "initdb -D $PGHOME/data/data_coord2/ --nodename coord2" # su - postgres -c "initdb -D $PGHOME/data/data_datanode2/ --nodename datanode2" # su - postgres -c "initgtm -D $PGHOME/data/data_gtm_proxy2/ -Z gtm_proxy"
Далее редактируем файлы конфигурации на узлах кластера.
GTM1:
gtm.conf
# vi $PGHOME/gtm_data/gtm.conf nodename = 'gtm_master' listen_addresses = '*' port = 6666 startup = ACT log_file = 'gtm.log' log_min_messages = WARNING
GTM2:
gtm.conf
# vi $PGHOME/gtm_data/gtm.conf nodename = 'gtm_slave' listen_addresses = '*' port = 6666 startup = STANDBY active_host = 'GTM1' #здесь можно указать IP основного GTM хоста, в моём случае '192.168.1.100' active_port = 6666 log_file = 'gtm.log' log_min_messages = WARNING
NODE1:
GTM_PROXY:
gtm_proxy. conf
# vi $PGHOME/data/data_gtm_proxy1/gtm_proxy.conf nodename = 'gtm_proxy1' listen_addresses = '*' port = 6666 gtm_host = 'GTM1' gtm_port = 6666 log_file = 'gtm_proxy1.log' log_min_messages = WARNING
COORDINATOR1
postgresql.conf
# vi $PGHOME/data/data_coord1/postgresql.conf listen_addresses = '*' port = 5432 pooler_port = 6667 gtm_host = 'localhost' # здесь должен быть адрес/имя хоста gtm_proxy, в моём случае - это localhost gtm_port = 6666 pgxc_node_name = 'coord1'
pg_hba.conf
# vi $PGHOME/data/data_coord1/pg_hba.conf host all all 192.168.1.0/24 trust
DATANODE1
postgresql.conf
# vi $PGHOME/data/data_datanode1/postgresql.conf listen_addresses = '*' port = 15432 pooler_port = 6668 gtm_host = 'localhost' gtm_port = 6666 pgxc_node_name = 'datanode1'
pg_hba. conf
# vi $PGHOME/data/data_datanode1/pg_hba.conf host all all 192.168.1.0/24 trust
NODE2:
GTM_PROXY:
gtm_proxy.conf
# vi $PGHOME/data/data_gtm_proxy2/gtm_proxy.conf nodename = 'gtm_proxy2' listen_addresses = '*' port = 6666 gtm_host = 'GTM1' gtm_port = 6666 log_file = 'gtm_proxy2.log' log_min_messages = WARNING
COORDINATOR2
postgresql.conf
# vi $PGHOME/data/data_coord2/postgresql.conf listen_addresses = '*' port = 5432 pooler_port = 6667 gtm_host = 'localhost' gtm_port = 6666 pgxc_node_name = 'coord2'
pg_hba.conf
# vi $PGHOME/data/data_coord2/pg_hba.conf host all all 192.168.1.0/24 trust
DATANODE2
postgresql.conf
# vi $PGHOME/data/data_datanode2/postgresql. conf listen_addresses = '*' port = 15432 pooler_port = 6668 gtm_host = 'localhost' gtm_port = 6666 pgxc_node_name = 'datanode2'
pg_hba.conf
# vi $PGHOME/data/data_datanode2/pg_hba.conf host all all 192.168.1.0/24 trust
На этом работа с конфигами закончена. Следующим шагом добавим исключения в файервол CentOS на всех хостах:
# firewall-cmd --zone=public --add-port=5432/tcp --permanent # firewall-cmd --zone=public --add-port=15432/tcp --permanent # firewall-cmd --zone=public --add-port=6666/tcp --permanent # firewall-cmd --zone=public --add-port=6667/tcp --permanent # firewall-cmd --zone=public --add-port=6668/tcp --permanent # firewall-cmd --reload
Впрочем для GTM1/GTM2 машин будет достаточно открыть только 6666 порт.
Часть 5. Запуск узлов кластера
Теперь мы добрались непосредственно до запуска узлов кластера. Чтобы запустить узлы кластера нужно выполнить следующие команды на соответствующих узлах от имени postgres пользователя:
# su - postgres $ gtm_ctl start -Z gtm -D $PGHOME/{data_dir} $ gtm_ctl start -Z gtm_proxy -D $PGHOME/{data_dir} $ pg_ctl start -Z datanode -D $PGHOME/{data_dir} $ pg_ctl start -Z coordinator -D $PGHOME/{data_dir}
Где ‘{data_dir}‘ имя соответствующей папки для GTM это: ‘data/gtm_data‘, для datanode1 это: ‘data/data_datanode1/‘ и т.д.
Но я хочу вам показать другой, более удобный способ управления запуском/остановкой/автозапуском.
В папке с исходными кодами есть SysV скрипт для «изящного контроля» PostgreSQL. Наша задача адаптировать его под каждую роль узлов в кластере. Давайте посмотрим что из себя представляет сам скрипт:
src/postgres-xl/contrib/start-scripts/linux
# cat /usr/local/src/postgres-xl/contrib/start-scripts/linux #! /bin/sh # chkconfig: 2345 98 02 # description: PostgreSQL RDBMS # This is an example of a start/stop script for SysV-style init, such # as is used on Linux systems. You should edit some of the variables # and maybe the 'echo' commands. # # Place this file at /etc/init.d/postgresql (or # /etc/rc.d/init.d/postgresql) and make symlinks to # /etc/rc.d/rc0.d/K02postgresql # /etc/rc.d/rc1.d/K02postgresql # /etc/rc.d/rc2.d/K02postgresql # /etc/rc.d/rc3.d/S98postgresql # /etc/rc.d/rc4.d/S98postgresql # /etc/rc.d/rc5.d/S98postgresql # Or, if you have chkconfig, simply: # chkconfig --add postgresql # # Proper init scripts on Linux systems normally require setting lock # and pid files under /var/run as well as reacting to network # settings, so you should treat this with care. # Original author: Ryan Kirkpatrick <[email protected]> # contrib/start-scripts/linux ## EDIT FROM HERE # Installation prefix prefix=/usr/local/pgsql # Data directory PGDATA="/usr/local/pgsql/data" # Who to run the postmaster as, usually "postgres". (NOT "root") PGUSER=postgres # Where to keep a log file PGLOG="$PGDATA/serverlog" # It's often a good idea to protect the postmaster from being killed by the # OOM killer (which will tend to preferentially kill the postmaster because # of the way it accounts for shared memory). Setting the OOM_SCORE_ADJ value # to -1000 will disable OOM kill altogether. If you enable this, you probably # want to compile PostgreSQL with "-DLINUX_OOM_SCORE_ADJ=0", so that # individual backends can still be killed by the OOM killer. #OOM_SCORE_ADJ=-1000 # Older Linux kernels may not have /proc/self/oom_score_adj, but instead # /proc/self/oom_adj, which works similarly except the disable value is -17. # For such a system, enable this and compile with "-DLINUX_OOM_ADJ=0". #OOM_ADJ=-17 ## STOP EDITING HERE # The path that is to be used for the script PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin # What to use to start up the postmaster. (If you want the script to wait # until the server has started, you could use "pg_ctl start -w" here. # But without -w, pg_ctl adds no value.) DAEMON="$prefix/bin/postmaster" # What to use to shut down the postmaster PGCTL="$prefix/bin/pg_ctl" set -e # Only start if we can find the postmaster. test -x $DAEMON || { echo "$DAEMON not found" if [ "$1" = "stop" ] then exit 0 else exit 5 fi } # Parse command line parameters. case $1 in start) echo -n "Starting PostgreSQL: " test x"$OOM_SCORE_ADJ" != x && echo "$OOM_SCORE_ADJ" > /proc/self/oom_score_adj test x"$OOM_ADJ" != x && echo "$OOM_ADJ" > /proc/self/oom_adj su - $PGUSER -c "$DAEMON -D '$PGDATA' &" >>$PGLOG 2>&1 echo "ok" ;; stop) echo -n "Stopping PostgreSQL: " su - $PGUSER -c "$PGCTL stop -D '$PGDATA' -s -m fast" echo "ok" ;; restart) echo -n "Restarting PostgreSQL: " su - $PGUSER -c "$PGCTL stop -D '$PGDATA' -s -m fast -w" test x"$OOM_SCORE_ADJ" != x && echo "$OOM_SCORE_ADJ" > /proc/self/oom_score_adj test x"$OOM_ADJ" != x && echo "$OOM_ADJ" > /proc/self/oom_adj su - $PGUSER -c "$DAEMON -D '$PGDATA' &" >>$PGLOG 2>&1 echo "ok" ;; reload) echo -n "Reload PostgreSQL: " su - $PGUSER -c "$PGCTL reload -D '$PGDATA' -s" echo "ok" ;; status) su - $PGUSER -c "$PGCTL status -D '$PGDATA'" ;; *) # Print help echo "Usage: $0 {start|stop|restart|reload|status}" 1>&2 exit 1 ;; esac exit 0
Для всех ролей копируем этот скрипт в директорию ‘/etc/rc. d/init.d/‘ с каким нибудь внятным именем.
У меня вышло примерно так:
# cp /usr/local/src/postgres-xl/contrib/start-scripts/linux /etc/rc.d/init.d/pgxl_gtm # cp /usr/local/src/postgres-xl/contrib/start-scripts/linux /etc/rc.d/init.d/pgxl_gtm_prx # cp /usr/local/src/postgres-xl/contrib/start-scripts/linux /etc/rc.d/init.d/pgxl_dn # cp /usr/local/src/postgres-xl/contrib/start-scripts/linux /etc/rc.d/init.d/pgxl_crd
Далее начинаем адаптировать скрипты под каждый конкретный инстанс на каждом узле. После некоторых небольших модификаций, скрипт для GTM стал выглядеть следующим образом (для удобства я убрал комментарии и незначимые области):
pgxl_gtm
# vi /etc/rc.d/init.d/pgxl_gtm #! /bin/sh # chkconfig: 2345 98 02 # description: PostgreSQL RDBMS # Installation prefix prefix=/usr/local/pgsql # Data directory PGDATA="$prefix/gtm_data" # Who to run the postmaster as, usually "postgres". (NOT "root") PGUSER=postgres # Where to keep a log file PGLOG="$PGDATA/serverlog" # The path that is to be used for the script PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:$prefix/bin # What to use to shut down the postmaster PGCTL="$prefix/bin/gtm_ctl" # Which cluster role PGROLE="gtm" set -e # Only start if we can find the postmaster. test -x $PGCTL || { echo "$PGCTL not found" if [ "$1" = "stop" ] then exit 0 else exit 5 fi } # Parse command line parameters. case $1 in start) echo -n "Starting PostgreSQL: " test x"$OOM_SCORE_ADJ" != x && echo "$OOM_SCORE_ADJ" > /proc/self/oom_score_adj test x"$OOM_ADJ" != x && echo "$OOM_ADJ" > /proc/self/oom_adj su - $PGUSER -c "$PGCTL start -Z $PGROLE -D '$PGDATA' &" >>$PGLOG 2>&1 echo "ok" ;; stop) echo -n "Stopping PostgreSQL: " su - $PGUSER -c "$PGCTL stop -Z $PGROLE -D '$PGDATA' -m fast" echo "ok" ;; restart) echo -n "Restarting PostgreSQL: " su - $PGUSER -c "$PGCTL stop -Z $PGROLE -D '$PGDATA' -m fast -w" test x"$OOM_SCORE_ADJ" != x && echo "$OOM_SCORE_ADJ" > /proc/self/oom_score_adj test x"$OOM_ADJ" != x && echo "$OOM_ADJ" > /proc/self/oom_adj su - $PGUSER -c "$PGCTL start -Z $PGROLE -D '$PGDATA' &" >>$PGLOG 2>&1 echo "ok" ;; reload) echo -n "Reload PostgreSQL: " su - $PGUSER -c "$PGCTL restart -Z $PGROLE -D '$PGDATA'" echo "ok" ;; status) su - $PGUSER -c "$PGCTL status -Z $PGROLE -D '$PGDATA'" ;; *) # Print help echo "Usage: $0 {start|stop|restart|reload|status}" 1>&2 exit 1 ;; esac exit 0
Как вы можете видеть я добавил ‘$PGHOME/bin‘ в переменную PATH, убрал DAEMON, в PGCTL прописал путь к утилите gtm_ctl в директории ‘$PGHOME/bin‘ для управления ролями GTM и GTM_PROXY, так же добавил переменную PGROLE необходимую для запуска узлов кластера.
Для того чтобы использовать такой скрипт для остальных ролей в кластере нужно отредактировать всего лишь 3 переменные: PGDATA, PGROLE, PGCTL.
PGDATA — это путь к директории с данными для данной роли узла.
PGROLE — роль данного инстанса в кластере. Бывает gtm, gtm_proxy, coordinator, datanode.
PGCTL — утилита запуска сервера, для gtm и gtm_proxy это ‘gtm_ctl‘, а для coordinator и datanode это ‘pg_ctl‘
Приведу полные изменения для остальных узлов в нашем тестовом кластере:
GTM_PROXY1:
pgxl_gtm_prx
# vi /etc/rc.d/init.d/pgxl_gtm_prx PGDATA="$prefix/data/data_gtm_proxy1" PGCTL="$prefix/bin/gtm_ctl" PGROLE="gtm_proxy"
GTM_PROXY2:
pgxl_gtm_prx
# vi /etc/rc.d/init.d/pgxl_gtm_prx PGDATA="$prefix/data/data_gtm_proxy2" PGCTL="$prefix/bin/gtm_ctl" PGROLE="gtm_proxy"
COORDINATOR1:
pgxl_crd
# vi /etc/rc. d/init.d/pgxl_crd PGDATA="$prefix/data/data_coord1" PGCTL="$prefix/bin/pg_ctl" PGROLE="coordinator"
COORDINATOR2:
pgxl_crd
# vi /etc/rc.d/init.d/pgxl_crd PGDATA="$prefix/data/data_coord2" PGCTL="$prefix/bin/pg_ctl" PGROLE="coordinator"
DATANODE1:
pgxl_dn
# vi /etc/rc.d/init.d/pgxl_dn PGDATA="$prefix/data/data_datanode1" PGCTL="$prefix/bin/pg_ctl" PGROLE="datanode"
DATANODE2:
pgxl_dn
# vi /etc/rc.d/init.d/pgxl_dn PGDATA="$prefix/data/data_datanode2" PGCTL="$prefix/bin/pg_ctl" PGROLE="datanode"
Почти готово! Теперь надо сделать эти скрипты исполняемыми, выполнив на каждом узле соответствующую команду:
# chmod a+x /etc/rc.d/init. d/pgxl_gtm # chmod a+x /etc/rc.d/init.d/pgxl_gtm_prx # chmod a+x /etc/rc.d/init.d/pgxl_crd # chmod a+x /etc/rc.d/init.d/pgxl_dn
Теперь добавляем скрипты в атозагрузку:
# chkconfig --add pgxl_gtm # chkconfig --add pgxl_gtm_prx # chkconfig --add pgxl_crd # chkconfig --add pgxl_dn
И запускаем:
# service pgxl_gtm start # service pgxl_gtm_prx start # service pgxl_crd start # service pgxl_dn start
Как прошел запуск можно посмотреть в файле лога в директории данных, а можно выполнить команду:
# service pgxl_gtm status # service pgxl_gtm_prx status # service pgxl_crd status # service pgxl_dn status
Если всё прошло успешно приступаем к настройке узлов.
Часть 6. Настройка узлов кластера
Произведем настройку узлов кластера в соответствии с мануалом:
NODE1
# su - postgres $ psql -p 5432 -c "DELETE FROM pgxc_node" $ psql -p 5432 -c "CREATE NODE coord1 WITH (TYPE='coordinator',HOST='192. 168.1.102',PORT=5432)" $ psql -p 5432 -c "CREATE NODE coord2 WITH (TYPE='coordinator',HOST='192.168.1.103',PORT=5432)" $ psql -p 5432 -c "CREATE NODE datanode1 WITH (TYPE='datanode',HOST='192.168.1.102',PORT=15432)" $ psql -p 5432 -c "CREATE NODE datanode2 WITH (TYPE='datanode',HOST='192.168.1.103',PORT=15432)"
Проверить что получилось можно с помощью команды:
$ psql -p 5432 -c "select * from pgxc_node"
Если всё в порядке, рестартуем пул:
$ psql -p 5432 -c "select pgxc_pool_reload()"
При успешной конфигурации команда вернет ‘t‘, то есть true.
В большинстве мануалов после этого шага приступают создавать тестовые таблицы и выполнять тестовые запросы, но с гарантией в 99,9% я вам скажу — при попытке выполнить INSERT вы получите в логах вот такие записи:
STATEMENT: insert into test select 112233445566, 0123456789; ERROR: Invalid Datanode number
или вот
STATEMENT: SET global_session TO coord2_21495;SET datestyle TO iso;SET client_min_messages TO notice;SET client_encoding TO UNICODE;SET bytea_output TO escape; ERROR: Invalid Datanode number STATEMENT: Remote Subplan ERROR: node "coord2_21580" does not exist STATEMENT: SET global_session TO coord2_21580;SET datestyle TO iso;SET client_min_messages TO notice;SET client_encoding TO UNICODE;SET bytea_output TO escape; ERROR: Invalid Datanode number STATEMENT: Remote Subplan ERROR: Invalid Datanode number STATEMENT: Remote Subplan ERROR: Invalid Datanode number STATEMENT: Remote Subplan LOG: Will fall back to local snapshot for XID = 96184, source = 0, gxmin = 0, autovac launch = 0, autovac = 0, normProcMode = 0, postEnv = 1 ERROR: node "coord2_22428" does not exist STATEMENT: SET global_session TO coord2_22428; ERROR: Invalid Datanode number
А всё потому, что в заумных мануалах «для опытных», где всё просто как два пальца об асфальт пропущен важный шаг — заполнение других узлов в самих DATANODE’ах. А делается это довольно просто, на обоих узлах данных в нашей конфигурации выполняем следующее:
$ psql -p 5432 -c "EXECUTE DIRECT ON (datanode1) 'DELETE FROM pgxc_node'" $ psql -p 5432 -c "EXECUTE DIRECT ON (datanode1) 'create NODE coord1 WITH (TYPE=''coordinator'',HOST=''192.168.1.102'',PORT=5432)'" $ psql -p 5432 -c "EXECUTE DIRECT ON (datanode1) 'create NODE coord2 WITH (TYPE=''coordinator'',HOST=''192.168.1.103'',PORT=5432)'" $ psql -p 5432 -c "EXECUTE DIRECT ON (datanode1) 'create NODE datanode1 WITH (TYPE=''datanode'',HOST=''192.168.1.102'',PORT=15432)'" $ psql -p 5432 -c "EXECUTE DIRECT ON (datanode1) 'create NODE datanode2 WITH (TYPE=''datanode'',HOST=''192.168.1.103'',PORT=15432)'" $ psql -p 5432 -c "EXECUTE DIRECT ON (datanode1) 'SELECT pgxc_pool_reload()'"
Соответственно строку
EXECUTE DIRECT ON (datanode1)
меняем на
EXECUTE DIRECT ON (datanode2)
для нода номер 2.
И вуаля! Теперь можно смело создавать таблицы и тестировать наш кластер. Но это уже совсем другая история…
Заключение
Вот и всё, всё настроено и всё работает, казалось бы — ничего сложного нет, на за этой статьёй скрывается целая неделя поиска и курения мануалов. Самым безобидным сейчас кажется этап скачки/компиляции и установки исходников, но на самом деле там тоже хватало проблем (конечно же дело в моей неопытности в работе на таком окружении), например код упорно не хотел компилироваться и кидал вот такую ошибку:
'/usr/bin/perl' /bin/collateindex.pl -f -g -i 'bookindex' -o bookindex.sgml HTML.index Can't open perl script "/bin/collateindex.pl": No such file or directory make[4]: *** [bookindex.sgml] Error 2 make[4]: Leaving directory `/usr/local/src/postgres-xl/doc-xc/src/sgml' make[3]: *** [sql_help.h] Error 2 make[3]: Leaving directory `/usr/local/src/postgres-xl/src/bin/psql' make[2]: *** [all-psql-recurse] Error 2 make[2]: Leaving directory `/usr/local/src/postgres-xl/src/bin' make[1]: *** [all-bin-recurse] Error 2 make[1]: Leaving directory `/usr/local/src/postgres-xl/src' make: *** [all-src-recurse] Error 2
Позже на каком-то китайском форуме нашёл ответ, что нужно установить библиотеку docbook-style-dsssl и так далее, каждый новый сюрприз заводил меня в тупик из-за отсутствия опыта и полных мануалов (для чайников, таких как я) как таковых.
Но всё же после недели поиска информации, сотен проб и ошибок всё получилось и кластер завелся.
Надеюсь кому-то эта публикация хоть сколечко облегчит жизнь или будет полезна.
Дальше я планирую заняться настройкой Load-Balance, мигрировать базу из обычного PostgreSQL 9.4 под управлением Windows в собранный кластер postgres-xl 9.2 на CentOS 7.0, как следует протестировать самые тяжелые запросы в нашем проекте уже в кластере, сравнить с результатами Standalone PostgreSQL, заняться тюнингом настроек кластера, поиграться с PostGIS в кластере и т.д. Так что, если хабровчанам будет полезна эта статья или что-либо из того, что я перечислил — с удовольствием поделюсь этим с вами.
Спасибо за внимание.
Filtero для чайников и кофемашин — Filtero
Filtero фильтры для кофе, №2/40, белые 174 р 136 р Filtero Отбелены кислородом без применения химических отбеливателей. Страна-производитель Нидерланды | ||
Filtero фильтры для кофе, №2/80, коричневые 280 р 217 р Filtero Натуральные неотбеленные фильтры Бумажные одноразовые фильтры Filtero для кофеварок капельного типа, пуроверов, калита, кемекс Размер №2 соответствует стандарту «1х2» для кофеварок на 4-8 чашек. Экологически чистый продукт. Прочный двойной шов выполнен без применения клея. Произведено в Нидерландах | ||
Filtero фильтры для кофе, №4/40, белые 190 р 149 р Filtero Отбелены кислородом без применения химических отбеливателей. Страна-производитель Нидерланды | ||
Filtero фильтры для кофе, №4/80, коричневые 312 р 248 р Filtero Натуральные неотбеленные фильтры Бумажные одноразовые фильтры Filtero для кофеварок капельного типа, пуроверов, калита, кемекс Размер №4 соответствует стандарту «1х4» для кофеварок на 8-12 чашек. Экологически чистый продукт. Прочный двойной шов выполнен без применения клея. Произведено в Нидерландах | ||
Filtero Таблетки от накипи для кофеварок и кофемашин, 4 шт, 439 р 315 р Filtero Разработаны специально для кофемашин. Обеспечивают быстрое и тщательное удаление известкового налета с труднодоступных частей кофемашины. Таблетки Filtero подходят для всех автоматических кофемашин. Страна-производитель Германия | ||
Filtero Таблетки от накипи для чайников и термопотов, 6 шт, 280 р 216 р Filtero Таблетки от накипи Filtero предназначены специально для чайников и термопотов. Улучшенная формула позволяет быстро удалить даже сильно окаменевший известковый налет. Очищение ваших бытовых приборов от накипи и известковых отложений продлевает срок эксплуатации Ваших приборов и предотвращает различные повреждения. Страна-производитель Германия Меры предосторожности: НЕ ДОПУСКАЕТСЯ погружение таблетки в кипящую воду. Идеальная температура воды должна быть около 70°C. После кипения необходимо под…Таблетки от накипи Filtero предназначены специально для чайников и термопотов. Улучшенная формула позволяет быстро удалить даже сильно окаменевший известковый налет. Очищение ваших бытовых приборов от накипи и известковых отложений продлевает срок эксплуатации Ваших приборов и предотвращает различные повреждения. Страна-производитель Германия Меры предосторожности: НЕ ДОПУСКАЕТСЯ погружение таблетки в кипящую воду. Идеальная температура воды должна быть около 70°C. После кипения необходимо подождать 10 минут↑ | ||
Filtero Жидкий очиститель накипи, 250мл, 621 р 575 р Filtero Жидкий очиститель накипи подходит для использования во всех типах приборов с нагревательными элементами, таких как чайники, термопоты, кофеварки, утюги, пароварки, бойлеры. А так же для всех типов кофеварок и кофемашин. Страна-производитель Германия | ||
Filtero Универс. очист-ль накипи, 225мл, 429 р 375 р Filtero Очиститель накипи. Универсальный Сделано в Бельгии | ||
Filtero Спец. очист-ль накипи, 500мл, 684 р 624 р Filtero Оборотная сторона | ||
Filtero Табл от накипи д/кофемаш, XL Pack 10 шт, 758 р 558 р Filtero Популярные таблетки для удаления накипи в экономичной упаковке Страна-производитель Германия | ||
Filtero Табл от накипи д/чайников, XL Pack 15шт, 535 р 380 р Filtero Популярные таблетки для удаления накипи в экономичной упаковке Страна-производитель Германия Меры предосторожности: НЕ ДОПУСКАЕТСЯ погружение таблетки в кипящую воду. Идеальная темпер…Популярные таблетки для удаления накипи в экономичной упаковке Страна-производитель Германия Меры предосторожности: НЕ ДОПУСКАЕТСЯ погружение таблетки в кипящую воду. Идеальная температура воды должна быть около 70°C. После кипения необходимо подождать 10 минут↑ | ||
Filtero Таблетки для удаления кофейных масел, 631 р 448 р Filtero Диаметр таблетки 20 мм. В упаковке 4 таблетки С…Диаметр таблетки 20 мм. В упаковке 4 таблетки Страна-производитель Германия↑ |
Xl — Etsy.de
Etsy больше не поддерживает старые версии вашего веб-браузера, чтобы обеспечить безопасность данных пользователей. Пожалуйста, обновите до последней версии.
Воспользуйтесь всеми преимуществами нашего сайта, включив JavaScript.
Найдите что-нибудь памятное, присоединяйтесь к сообществу, делающему добро.
(129 релевантных результатов)
Бумажный фильтр «XL» для чайника
Легко наполняется благодаря клапану. Для использования не требуется дополнительная поддержка.
Биоразлагаемый, отбеленный без хлора.
Фильтры teel flyp изготовлены из целлюлозы, целлюлозы и уплотнительного волокна. Клеи не добавляются.
В каждой коробке 60 штук.
Ссылка 2-20682
Вам также может понравиться
В наличии
Принадлежности
3-26509
Щелчок Teeli – это разумный выбор для закрытия чайных фильтров. Просто сделайте следующее: Используя оба больших пальца, нажмите на зажим наружу (против изгиба), пока он не откроется. Поместите отверстие чайного пакетика в зажим и нажмите на зажим, чтобы закрыть. Поместите фильтр в чайник, повесив зажим на край. После приготовления чая просто снимите зажим и выбросьте пакет.
Отзывы
От МАРИЯ АМОР ЧАС. на
25 окт 2021 (Бумажный фильтр XL для чайника):
(5/5)
фильтры
Muy útil par filtrar grandes cantidades
Сообщить о нарушении
Покупатели, купившие этот товар, также купили:
- В продаже!
В наличии
Ароматизированный зеленый чай
1-60112
Порох и зеленый чай Сенча, мята, корица, гвоздика, имбирь, кардамон, перец и натуральный ароматизатор. Как заваривать такой чай: 70-80о 2-3 мин 12-15 г
В наличии
Ароматизированный зеленый чай
2-82901
Сенча китайская* зеленый чай, ягоды бузины*, листья черной смородины*, натуральный ароматизатор, кусочки клубники*, целые ягоды ежевики*, красная смородина*. * Органически выращенные продукты. Как приготовить этот чай: 70-80º 2-3 мин. 12-15 г/л.
В наличии
Ароматизированный черный чай
1-50117
Черный чай, ройбуш, кусочки карамели, ваниль, цветы жасмина, лиловые цветы и натуральный аромат. Как заваривать такой чай: 100o 3-5 мин 12-15 г
- В продаже!
- -10%
В наличии
Принадлежности
3-20064
39,60 € 44,00 €
Чайный сервиз в красивом и элегантном футляре идеально подходит для подарка. Он состоит из четырех чашек и соответствующего чайника с веселым дизайном. Фарфор премиум класса.
- В продаже!
- -15%
В наличии
Ароматизированный зеленый чай
1-40119
3,06 € 3,60 €
Зеленый чай Сенча, лемонграсс, лимонная цедра, лимонный сахар и натуральный ароматизатор. Как заваривать этот чай 70-80o 2-3 мин 12-15 г
В наличии
Ароматизированный зеленый чай
1-40140
Зеленый чай Сенча, кора апельсина, гибискус, цветы апельсина, лепестки бархатцев и натуральный ароматизатор. Как заваривать этот чай: 70-80o 2-3 мин 12-15 г
- В продаже!
В наличии
Зеленый чай
2-82543
Лучшее качество Порох темный листовой, равномерно скрученный. Мягкий вкус. * Органически выращенные продукты. Поддерживает различные настои. Как приготовить этот чай: 80º 2-3 мин. 12-15 г/л
В наличии
Welfare
2-82638
Яблоко*, чипсы с корицей*, гибискус*, листья ежевики*, имбирь*, мелисса*, корень солодки*, цедра апельсина*, фенхель*, ромашка*, гвоздика*, черный перец* , кардамон*, зверобой*, цветки хмеля*. *Органически выращенные продукты Способ приготовления: 100º 7-10 мин 15-20 г/л
В наличии
Ройбуш
1-
Ройбуш, фенхель, звездчатый анис, захаренья, ромашка, мята и аромат. Как его приготовить: 100o 7-10 мин 15-20 г/л
В наличии
Красный — Пуэр Ароматизированный
1-80111
Красный чай, измельченная корица, цедра лимона, дольки лимона и натуральный ароматизатор.