a simple skill : postgresql slow sql report
其实也不完全算PostgreSQL的技巧，应该算是SHELL技巧。首先要配置好postgresql.conf,让PG记录下慢查询，并且日志固定格式，如下:log_destination = 'csvlog'log_min_duration_statement = 100mspg_ctl reload -D $PGDATA来看一个统计的例子:vi digoal.sh#!/bin/bashif [ $#...
View ArticlePostgreSQL's pgsql_tmp like oracle's temp tablespace
在Oracle里面，不同的用户可以指定不同的默认临时表空间。 在PostgreSQL里面，临时目录pgsql_tmp。是放在数据库的默认表空间里面。如果建数据库的时候没有指定默认表空间，那么pgsql_tmp放在$PGDATA/base/pgsql_tmp，如果指定了默认表空间，那么放在默认表空间里面.如 : digoal=> \db List of...
View ArticleClik here to view.
rsync bwlimit
事实证明rsync不能控制服务端的总带宽，只能控制发起端的带宽。1. cat /etc/rsyncd.confport = 873hosts deny = 0.0.0.0/0read only = falsewrite only = falsegid = 0uid = 0use chroot = nomax connections = 10pid file =...
View ArticlemongoDB and numa policy interleave
今天看到HelloDBA的一篇关于NUMA架构下单服务器跑多实例MYSQL的文章地址http://www.hellodb.net/tag/numa我发现mongoDB也有类似情形，可能需要在启动数据库的时候加一个调整NUMA内存分配策略的设置，如下：su - mongo -c "numactl --interleave=all mongod -f...
View ArticlePostgreSQL 9.1 escape behavior changed warning
在9.0里面standard_conforming_strings参数的默认值是off,9.1把它改成默认on.会带来一些变化如下:9.0的表现:postgres@db-172-16-3-33-> psql -h 127.0.0.1psql (9.0.4)Type "help" for help.postgres=# select '\\';WARNING: nonstandard use...
View ArticlePostgreSQL 9.1 performance improve
1. Merge duplicate fsync requestsThis greatly improves performance under heavy write loads.2. Allow inheritance table scans to return meaningfully-sorted results (Greg Stark, Hans-Jurgen Schonig,...
View Article【转载】Win7系统彻底关闭休眠文件的方法
我想说一下关于Windows 7休眠的问题，大家装好系统以后是不是把休眠功能都已经关掉了？如果要是没有关掉的话，则会占用C盘的空间，想必这个问题大家都知道。...
View ArticleClik here to view.
EVA6400 Preferred path/mode
HP EVA6400存储提供的Preferred path/mode有4个选项。如图 : 默认情况下是No preference. 假设LINUX multipath.conf配置如下 ： blacklist { devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*" devnode "^hd[a-z]"...
View ArticleClik here to view.
【摘】关于naim幽灵般的牛叫--电网质量不好怎么办？
功放玩的就是电源早有定论。 08年末玩hifi以来总有一个困惑：为什么同一套系统有时好声，有时又不好？其间怀疑过设备预热不够、个人身心状态差等因素，不可否认，这些也都是可能因素，但总又能找到反例，例如，已热机2天声音还达不到最佳状态，无论身体和心情状态如何，声音总也有好有坏无章可循。...
View Article《黄帝内经》脏腑五行对应表
五脏肝心脾肺肾五脏之官将军之官谋虑出焉君主之官神明出焉仓廪之官五味出焉相傅之官治节出焉作强之官伎巧出焉五腑胆小肠胃大肠膀胱五腑之官中正之官决断出焉受盛之官化物出焉仓廪之官五味出焉传道之官变化出焉州都之官津液藏焉气化则能出矣三焦心包络三焦者，决渎之官...
View Article《黄帝内经》脏腑五行五色五味对应表
五色青赤黄白黑五色之见死色见青如草兹者死色见赤如衃血者死色见黄如枳实者死色见白如枯骨者死色见黑如炲者死五色之见生青如翠羽者生赤如鸡冠者生黄如蟹腹者生白如豕膏者生黑如乌羽者生五藏所生之外荣生于肝，如以缟裹绀生于心，如以缟裹朱生于脾，如以缟裹栝楼实生于肺，如以缟裹红生于肾，如以缟裹紫色味当五脏青当肝酸青当筋赤当心苦赤当脉黄当脾甘黄当肉白当肺辛白当皮黑当肾咸黑当骨生死面相凡相五色，面黄目青、面黄目赤、面黄...
View Article《黄帝内经》五行天象对应表
天干阳干甲丙戊庚壬阴干乙丁己辛癸天干化合丁壬合化木戊癸合化火甲己合化土乙庚合化金丙辛合化水地支阳支寅午辰戌申子阴支卯巳丑未酉亥地支三会寅卯辰巳午未 申酉戌亥子丑地支化合亥卯未三合化木局寅午戌三合化火局...
View ArticleClik here to view.
PostgreSQL range gist index 20x+ speedup than Mysql index combine query
今天一位兄弟跟我抱怨MYSQL里面查IP地址库并发几千每秒的查询数据库就抗不住了.于是问他要来了他们的IP地址库数据和查询用的SQL以及MYSQL里面的表结构。把数据转到PostgreSQL里面做一下相对应的压力测试，看看PostgreSQL的表现。MYSQL里面的表结构如下 : CREATE TABLE ip_address_pool ( id int(10) NOT NULL...
View Articleenum
enum定义的值在C里面其实是用数字代表的.如下 : [root@db-172-16-3-150 ~]# cat h.c#include <stdio.h>typedef enum unit_of_measure { COUNT, KG, ML} unit_of_measure;int main() { fprintf(stdout, "COUNT:%i, KG:%i,...
View ArticlePostgreSQL cursor in batch commit use case
一位网友问到的问题如下 : Hello, 德哥，我想请您请教一个关于postgresql批量提交方面的问题。 由于我们现在的项目是在从oracle转pg，所以遇到了很多oracle中曾经写批量提交方面的问题， 类似如下情况： FOR c IN cur LOOP ---游标 --更新 UPDATE tbname s...
View Article博客导出工具: 豆约翰
这几天网易博客好像有点问题, 无法导出内容. 网上搜索了一下博客备份的工具.发现一个很好用的备份工具, 豆约翰. 确实非常强大.只可惜目前网易博客导出有个小bug. 网易博客中有2中格式.user.blog.163.com和blog.163.com/user.但是带有@符号的用户无法备份(例如user@126), 原因是这种用户没有user@126.blog.163.com的域名....
View ArticleClik here to view.
Clik here to view.
80EQ开光射月
最近杭州的雾霾非常严重, 能见度极低. 所以能看到月亮实在是非常惊讶, 赶紧把小八搬到楼下.没带口罩, 不一会喉咙就难受得不行. 用手机随便拍了几张, 20mm的目镜, 40倍放大的样子. 效果非常之烂.下次用neq6+bkp2001000再拍一下, 看看专业和入门的区别到底有多大.
View Articlelua 本地变量的作用域
lua 不加前缀定义的为全局变量, 例如 : i = 1 -- 这样定义的为全局变量.定义本地变量使用local前缀, 例如 : local i = 1 -- 定义一个本地变量.本地变量的作用域比较诡异, 特别是在命令行中很"诡异", 需要理解这个chunk.Unlike global variables, local variables have their scope limited to...
View ArticleLua 函数用法和它的"诡异"之处
Lua 函数调用时, 需要带括号(对于单个参数的函数,某些值不需要用括号, 如字符串, 表). 但是注意return是可以带括号也可以不带括号的.这里重点说到括号, 因为括号和返回多值的函数关系很大, 也就是"诡异"的地方, 后面会举例.函数可以作为一个语句执行, 那有点类似一个过程语言, 执行完的函数结果被抛弃掉.例如 : print("abc") --...
View Article夜晚利用高亮手电指星的小窍门, 无需寻星镜,指星笔.
今天拿着手电筒接在寻星镜的目镜端当探照灯玩, 突发奇想, 是不是可以接在望远镜的目镜端呢.于是尝试了一下, 只要手电够亮, 指星完全没有问题, 至少我打木星是一击即中的,器材:80eqolight s20 Baton 高亮模式.目镜, 开信无畸变16.8mm
View ArticleRHEL 7 will allows a PCIe SSD device to act as a cache for other Block DEV.
红帽7将允许快速的块设备充当低速块设备的缓存. 太棒了啊.Fast Block Devices Caching Slower Block DevicesThe ability to have fast block devices act as a cache for slower block devices is introduced as a Technology Preview in Red...
View ArticleClik here to view.
工作太忙, 处理一些二手闲置物品
1. 歌德的SR225i . 一口价, 1200 RMB.耳机+耳机包+铁三角转接头. 一口价, 1250RMB简介2011年11月购自淘宝, 全新国行. 工作太忙买来后没怎么使用(估计不超过100小时), 成色见图.二大爷推荐的耳机, 确实不错, 虽然外观看起来很山寨. 声音绝对有磁性. 2. SONY CDP-x777es简介2011年购自淘宝, 二手.一口价 5500RMB...
View ArticleClik here to view.
CentOS 7 lvm cache dev VS zfs VS flashcache VS bcache VS direct SSD
本文测试结果仅供参考, rhel 7.0的lvm cache也只是一个预览性质的特性, 从测试结果来看, 用在生产环境也尚早.前段时间对比了Linux下ZFS和FreeBSD下ZFS的性能, 在fsync接口上存在较大的性能差异, 这个问题已经提交给zfsonlinux的开发组员....
View ArticleClik here to view.
昨天拍的月亮
信达eq6+200F4,X-pro1转接不知道是不是胶片模式没有选好还是其他原因, 或者是视宁度太差?对焦缺少对准了, 但是很糊的样子.+米德2x直接下面是小米4直接对着目镜拍的, 反而清晰.
View ArticleClik here to view.
时序矩阵的滞后
在时间序列中经常会用到一个序列的滞后序列，R中的包fMultivar中的函数tslag()提供了这个功能。> install.packages("fMultivar")> library(fMultivar)Loading required package: snLoading required package: mnormtPackage ‘sn’, 0.4-16...
View ArticleClik here to view.
二项分布的期望值 E(n)=np 推导
二项分布的期望值 E(n)=np，这个公式是如何推导来的呢？n表示n次试验，p表示单次试验的成功概率。E(n)表示n次试验的成功次数的数学期望。这里还需要依赖一个求数学期望的公式，所有概率相加=1。所有概率相加=1，即∑k=0,n C(n,k) * p^k * (1-p)^(n-k) = 1对于试验n次的情况，有n+1种结果，0次成功系数为0，所以k=1开始即可。∑k=0,n k *...
View ArticleClik here to view.
[转]使用SQL选择最短路径
http://www.depesz.com/2012/06/25/how-to-get-shortest-connection-between-two-cities/Yesterday, on #postgresql on irc some guy asked:22:28 < rafasc> i am trying to use plpgsql to find the shortest...
View Article怎样按一定时间间隔跳跃查询数据？
问题来自云栖问答，觉得比较好，所以记录一下:我的项目用的是MySQL，但也想同时请教下在Oracle、SqlServer中应该如何处理如下问题： 有数据表如下所示： 希望从表中抽取数据，要求两条记录的时间间隔至少2分钟 对下面图片中的数据而言，假如我查询的时间范围是从2014-08-10 23:20:00开始的， 则希望抽取到如下结果集： '83', '57', '10041', '74.27',...
View Article如何分析D状态进程
在使用top查看进程状态时，我们有时候会看到D状态的进程。 w: S -- Process Status The status of the task which can be one of: ’D’ = uninterruptible sleep ’R’ = running ’S’ = sleeping ’T’ = traced or stopped ’Z’ = zombie...
View ArticleClik here to view.
论云数据库编程能力的重要性
云为我们提供了便利，降低了开发和运维的成本。但是也必须思考一个问题，我们的云组件之间的的网络延迟？（相比较局域网的服务器和服务器之间）你可以用各种方法测试验证一下。以往我们把数据放在数据库，数据库只提供简单的增删改查，大部分的业务逻辑放在应用服务器来完成。但是在云时代，如果我们还这样的话，应用服务器和数据库间如果多次交互，会浪费大量的时间。我们应该充分利用数据库的编程能力，例如PostgreSQL，...
View ArticleRHEVH hosts can't connect to iscsi-server , bug?
今天在做rhcva最后一章的实验的时候，作为运算体的rheva的主机重装成rhel，并重新加入到rhevm管理的虚拟机集群。新装的rhel连接iscsi失败，spm无法选举出来，data domain无法激活。并且在iscsi服务端无法获得iscsi的size 。（tgt-admin -s）data...
View ArticleClik here to view.
PostgreSQL and Linux Memory Management
今天在群里面讨论PostgreSQL怎么避开Linux的oom机制,也参考了手册上说的。主进程确实没错修改OOM_ADJ正常。手册上推荐编译时使用 CFLAGS="-DLINUX_OOM_ADJ=0",下面是我测试的时候使用的编译条件../configure CFLAGS="-DLINUX_OOM_ADJ=0" --prefix=/opt/pgsql --with-pgport=1921...
View Articleuse chkpass type encrypted password in PostgreSQL
chkpass这个extension利用标准的UNIX函数crypt()对cstring 进行加密。因此chkpass和crypt()的所有使用限制一样，如只能存储8位长度的密码。chkpass创建后，在数据库里面多出6个函数其中2个比较函数，一个数据类型，还有两个运算符。chkpass_out和raw的区别在于显示方面,raw 不显示前面的冒号。CREATE FUNCTION...
View ArticleClik here to view.
thinking about the bussiness system high availability
我这里说的bussiness system指的是业务系统整体。包括应用程序，网络，数据库，主机，存储等等和应用系统可用性有关的东西。bussiness system high availability 大多数情况下指的是业务连续性。比如下面这个最简单的业务系统:存在如下缺陷:1. 接入网络出现问题的话，应用程序就不能被用户访问。2. 数据库出现故障，也不能提供服务。3....
View ArticleClik here to view.
2011-07-15,16 祝贺 2011中国PostgreSQL用户大会 圆满成功
这次来广州开PG大会真的非常的感动。更是认识了一堆的圈内知己，Galy老师，刘鑫老师，泥鳅老师，夏董，少聪，阿鹏，阿弟等等，实在太多了。同时也有幸能够与PG社区核心开发组的成员石井达夫先生和David Fetter先生面对面得交流。...
View Article