PostgreSQL wal receiver 统计信息 patch
之前写过一篇文档，关于如何编写一个C函数，在PostgreSQL hot standby中获取wal receiver的统计信息，以及上游节点的连接信息（conninfo）。http://blog.163.com/digoal@126/blog/static/1638770402015744524871/PostgreSQL 9.6...
View ArticlePostgreSQL pg_stat_ssl 视图 patch
PostgreSQL 9.6的patch，允许用户查看backend的连接信息，如果是SSL连接，输出SSL版本，cipher算法，加密比特位，是否压缩，DNS等信息。Table 27-6. pg_stat_ssl ViewColumnTypeDescriptionpidintegerProcess ID of a backend or WAL sender...
View Articlepgq 逻辑增量复制实际应用案例
详见 https://github.com/digoal/pgsql_admin_script/blob/master/pgq_case.mdpgq的实际应用案例, 在线增量复制的实施案例.创建源库postgres=# create database src; CREATE DATABASE 创建目标库postgres=# create database dest; CREATE DATABASE...
View ArticleClik here to view.
Greenplum 用gplink (a java transform) 访问外部数据源
源码：https://github.com/pivotalguru/gplink示例中包含了oracle和sql server的外部数据源(a query, 例如select * from table;)原理：greenplum 支持gpfdist协议外部表，gpfdist协议支持自定义transform。gplink...
View ArticleClik here to view.
Clik here to view.
初始化Greenplum时使用2G或更大共享内存导致的gp_qd_proc_offset溢出错误
初始化GP集群时，如果你指定了共享内存为2GB或大于2GB，GP会将gp_qd_proc_offset设置为溢出INT的一个值，从而导致数据库启动时失败。例如gpinitsystem -c ./gpinitsystem_config --locale=C --max_connections=48 --shared_buffers=2GB...
View ArticleClik here to view.
给AliCloudDB PgSQL 找个伴 - 建立PostgreSQL的逻辑备库
适用于PostgreSQL数据库之间的逻辑增量同步。对PostgreSQL的版本要求，8.3以上即可。最小的同步单位为行，用户可以选择表为同步对象，并且可以对表进行分组（有事务关联的表作为一个分组）。不同的分组，可以并行订阅，消费消息。如图：A,B,C三个表有事务关联，放到一个消息队列。D,E,F三个表有事务关联，放到另一个消息队列。在数据库中跟踪表的变更，记录到数据库的MQ中。订阅者将MQ翻译成S...
View ArticleClik here to view.
LLVM 版PostgreSQL : Vitesse , 100TB级 OLTP+OLAP
Vitesse是PostgreSQL的社区改良版本，据称可以支持100TB级别的OLTP和OLAP应用场景。在centos 6.x x64上的安装：wget...
View ArticleClik here to view.
为什么Greenplum 的CPU有大量是%ni的占用
在使用Greenplum的过程中，发现CPU监控有大量的%ni的占比。ni是指低优先级的用户模式，通过setpriority可以设置进程的优先级。数字越大，优先级越低。TOP中CPU统计的分类解释如下： 2c. SUMMARY Area Fields The summary area fields describing CPU statistics are abbreviated. They...
View ArticleClik here to view.
PostgreSQL 9.5 新特性之 - 水平分片架构与实践
PostgreSQL 9.5 在foreign data wrapper这方面有了几块非常好的功能增强：1. 支持创建外部表约束2. 优化器支持外部表查询下推3. 外部表支持继承4. 支持import foreign schema一键创建外部表使用前3点增强的技术点可以支持数据库的水平分片，可以把PostgreSQL...
View ArticleClik here to view.
PostgreSQL sharding 数据分片 for Oracle, SQL Server, DB2, Sybase
Oracle 12c支持sharding，但是对于低版本，如何实现水平分库呢？在写PostgreSQL...
View ArticleClik here to view.
PostgreSQL 优化器逻辑推理能力 源码解析
之前讲过优化器和操作符的暧昧关系http://blog.163.com/digoal@126/blog/static/16387704020156158447718/今天来谈一谈优化器的逻辑推理能力。数据库优化器需要具备逻辑推理能力，而且越强越好，为什么呢？举一些例子，通过已知的一个人讲的是真话，推理出另一个人讲的一定是真话或一定是假话。例子1： 假设预先提供了 a > 10 是真话...
View ArticleClik here to view.
TPC-H 使用
[转载]http://blog.csdn.net/leixingbang1989/article/details/8766047引言： 在实验室时候，由于老师需要用到TPC的相关知识，于是让我做一下关于TPC-H的研究。通过百度检索以及相关资料查询，发现目前国内做的相关研究特别少，而且介绍的也非常模糊，而TPC-H的英文使用说明多达两百多页，对于其中重要的QGEN...
View ArticlePostgreSQL 列存储，支持COPY跳过异常行的功能测试
susql在PostgreSQL9.5基础之上，增加了支持列存储，支持zlib压缩，支持COPY跳过异常行的功能。可以在以下WEB下载测试。https://github.com/susql/susql/releases感谢志铭为PG社区的付出。新增功能扩展语法介绍：SynopsisCREATE [ [ GLOBAL | LOCAL ] { TEMPORARY | TEMP } | UNLOGGED...
View ArticlePostgreSQL 表字段顺序的 "修改"
在某些场景中，用户可能希望在原有字段的某个位置增加一个字段，例如alter table test add column c1 int after id;在id字段后面添加一个字段。在PostgreSQL中，可以通过sql rewrite来做到同样的功能。但是必须先了解PostgreSQL的物理存储，在PG中，数据是tuple组织的，每个tuple都是固定的storage...
View Articlelinux 时间戳转换/dmesg 时间转换
http://blog.csdn.net/buptapple/article/details/8568938linux时间戳转换1. 将日期转换成时间戳$date +%s -d "04/24/2014 15:30:00"13983246002. 将时间戳转换成日期$date -d @1398324600Thu Apr 24 15:30:00 CST 20143. 将当前日期转换成时间戳$date...
View Article如何搭建阿里云RDS PostgreSQL数据库的物理备库
如何搭建阿里云RDS PostgreSQL数据库的物理备库用户在阿里云购买了RDS PostgreSQL，如何在自己的机房或者ECS上建立备库？关于如何构建逻辑备库，在我以前的文章有详细的讲解，所谓逻辑备库，是可以跨版本，甚至仅仅同步一部分相同步的表的备库。https://yq.aliyun.com/articles/7240如果用户需要构建一个和RDS...
View ArticleClik here to view.
PostgreSQL 百亿数据 秒级响应 正则及模糊查询
正则匹配和模糊匹配通常是搜索引擎的特长，但是如果你使用的是 PostgreSQL 数据库照样能实现，并且性能不赖，加上分布式方案 (譬如 plproxy, pg_shard, fdw shard, pg-xc, pg-xl,...
View ArticlePostgreSQL 9.5 新功能 create database ALLOW_CONNECTIONS
使用PostgreSQL的朋友一定遇到过一个非常苦恼的问题，刚创建好的库，任何人都能访问。例如：postgres=# revoke all on database template0 from public;REVOKEpostgres=# revoke all on database template1 from public;REVOKEpostgres=# create role test1...
View ArticleClik here to view.
PostgreSQL 用CPU "硬解码" 提升1倍 数值运算能力 助力金融大数据量计算
PostgreSQL 支持的数字类型包括整型，浮点，以及PG自己实现的numeric数据类型。src/backend/utils/adt/numeric.c src/backend/utils/adt/float.c numeric可以存储非常大的数字，超过2^17次方个数字长度。提升了精度的同时，也带来了性能的损耗，不能充分利用CPU 的 “硬解码”能力。typedef struct...
View Article