奥利奥の麦旋风

[toc] 正则表达式基本概述正则历史正则表达式，简写：re，全拼：（regular expression）在某些地区，管它叫做，正规表达式、规则表达式 正则表达式的”祖先”可以一直上溯至对人类神经系统如何工作的早期研究。Warren McCulloch 和 Walter Pitts 这两位神经生理学家研究出一种数学方式来描述这些神经网络。 1956 年, 一位叫 Stephen Kleene 的数学家在 McCulloch 和 Pitts 早期工作的基础上，发表了一篇标题为”神经网事件的表示法”的论文，引入了正则表达式的概念。正则表达式就是用来描述他称为”正则集的代数”的表达式，因此采用”正则表达式”这个术语。 随后，发现可以将这一工作应用于使用 Ken Thompson 的计算搜索算法的一些早期研究，Ken Thompson 是 Unix的主要发明人。正则表达式的第一个实用应用程序就是 Unix 中的 qed 编辑器。 如他们所说，剩下的就是众所周知的历史了。从那时起直至现在正则表达式都是基于文本的编辑器和搜索工具中的一个重要部分。 为什么使用正则主要目的1.方便处理文本和字符串内 ...

[toc] whiptail概述在CentOS6系统中，我们可以使用setup指令来修改网卡的IP等信息，交互起来十分方便在CentOS7系统中，setup命令已经没有了，但是还有nmtui命令，可以让我们修改IP和主机名。 那么whiptail命令的作用，就是出现一个可以交互的图形化界面，并且样式有很多。 在之前的课程中，我们已经使用流程控制语句，满足了一个跳板机的需求，但是我们还想是想更多的功能，当然脚本也都能实现，但是我们想要更炫酷的，脱离死气沉沉的命令行。 那么我们就一起来看一下，whiptail可以实现哪些需求吧… 消息框123456789#！/bin/bash# 消息框 whiptail --title "$HOSTNAME Disk Info" --msgbox "`df -h`" 30 60--title： #指定标题内容：$HOSTNAME Disk Info--msgbox： #指定信息内容：`df -h`30： #展示信息框的高度为：3060： #展示信息框的 ...

[toc] 什么是Redis Cluster Redis集群是一个可以在多个Redis节点之间进行数据共享的设施（installation）。 Redis集群不支持那些需要同时处理多个键的Redis命令，因为执行这些命令需要在多个Redis节点之间移动数据，并且在高负载的情况下，这些命令将降低Redis集群的性能，并导致不可预测的行为。 Redis集群通过分区（partition）来提供一定程度的可用性（availability）：即使集群中有一部分节点失效或者无法进行通讯，集群也可以继续处理命令请求。 Redis集群有将数据自动切分（split）到多个节点的能力。 Redis Cluster的特点 高性能 在多分片节点中，将16384个槽位，均匀分布到多个分片节点中 存数据时，将key做crc16（key），然后和16384进行取模，得出槽位值（0-16384之间） 根据计算得出的槽位值，找到相对应的分片节点的主节点，存储到相应槽位上 如果客户端当时连接的节点不是将来要存储的分片节点，分片集群会将客户端连接切换至真正存储节点进行数据存储 高可用 在搭建集群时，会 ...

[toc] sentinel介绍什么是sentinel？Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时，假如master宕机了，Redis本身(包括它的很多客户端)都没有实现自动进行主备切换，而Redis-sentinel本身也是一个独立运行的进程，它能监控多个master-slave集群，发现master宕机后能进行自动切换。 sentinel的构造Sentinel 是一个监视器，它可以根据被监视实例的身份和状态来判断应该执行何种动作。 sentinel的功能 监控（Monitoring）： Sentinel会不断地检查你的主服务器和从服务器是否运作正常。 提醒（Notification）： 当被监控的某个Redis服务器出现问题时，Sentinel可以通过API向管理员或者其他应用程序发送通知。 自动故障迁移（Automatic failover）： 当一个主服务器不能正常工作时，Sentinel会开始一次自动故障迁移操作，它会将失效主服务器的其中一个从服务器升级为新的主服务器，并让失效主服 ...

[toc] Redis集群概述由于单机Redis存储能力受单机限制，以及无法实现读写操作的负载均衡和读写分离，无法保证高可用。本篇就来介绍 Redis 集群搭建方案及实现原理，实现Redis对数据的冗余备份，从而保证数据和服务的高可用。主从复制是哨兵和集群的基石，因此我们循序渐进，由浅入深一层层的将Redis高可用方案抽丝剥茧展示在大家面前。 Redis主从复制介绍主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器，主从是哨兵和集群模式能够实施的基础。前者称为主节点(master)，后者称为从节点(slave),数据的复制是单向的，只能由主节点到从节点。默认情况下，每台Redis服务器都是主节点；且一个主节点可以有零个或多个从节点(0+个从节点)，但一个从节点只能有一个主节点。一般主节点负责接收写请求，从节点负责接收读请求，从而实现读写分离。主从一般部署在不同机器上，复制时存在网络延时问题，使用参数repl-disable-tcp-nodelay选择是否关闭TCP_NODELAY,默认为关闭： 关闭：无论数据大小都会及时同步到从节点，占带宽，适用于主从网络好的场 ...

[toc] Redis消息队列的概述在生活中，其实有很多的例子，都类似消息队列。 比如：工厂生产出来的面包，交给超市，商场来出售，客户通过超市，商场来买面包，客户不会针对某一个工厂去选择，只管从超市买出来，工厂也不会管是哪一个客户买了面包，只管生产出来之后，交给超市，商场来处理。 消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠传递，消息生产者只管把消息发布到消息队列中而不管谁来取，消息消费者只管从消息队列中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在。 Redis 发布订阅 (pub/sub) 是一种消息通信模式：发送者 (pub) 发送消息，订阅者 (sub) 接收消息。 Redis 客户端可以订阅任意数量的频道。 为什么使用消息队列首先，我们可以知道，消息队列是一种异步的工作机制，比如说日志收集系统，为了避免数据在传输过程中丢失，还有订单系统，下单后，会生成对应的单据，库存的扣减，消费信息的发送，一个下单，产生这么多的消息，都是通过一个操作的触发，然后将其他的消息放入消息队列中，依次产生。再就是很多网 ...

[toc] Redis事务定义 在MySQL中讲过的事务，具有A、C、I、D四个特性 Atomic（原子性） 所有语句作为一个单元全部成功执行或全部取消。 Consistent（一致性） 如果数据库在事务开始时处于一致状态，则在执行该。 事务期间将保留一致状态。 Isolated（隔离性） 事务之间不相互影响。 Durable（持久性） 事务成功完成后，所做的所有更改都会准确地记录在 数据库中。所做的更改不会丢失。 MySQL具有MVCC（多版本并发控制）的功能，这些都是根据事务的特性来完成的。 redis中的事务跟关系型数据库中的事务是一个相似的概念，但是有不同之处。关系型数据库事务执行失败后面的sql语句不在执行前面的操作都会回滚，而在redis中开启一个事务时会把所有命令都放在一个队列中，这些命令并没有真正的执行，如果有一个命令报错，则取消这个队列，所有命令都不再执行。 redis中开启一个事务是使用multi，相当于begin\start transaction，exec提交事务，discard取消队列命令（非回滚操作）。 MySQL Redis ...

[toc] 数据类型 Redis通用命令 String： 字符串类型 Hash： 哈希类型 List： 列表类型 Set： 集合类型 Sorted set： 顺序集合类型 Redis通用命令连接Redis12345678910111213141516171819202122232425# 连接redisredis-cli# 退出连接127.0.0.1:6379> quit127.0.0.1:6379> exit# 关闭redis127.0.0.1:6379> shutdownredis-cli shutdown# redis启动读取配置文件redis-server /root/redis-stable/redis.conf# redis后台启动(开启守护进程后不需要输入"&")redis-server &# 指定端口之后连接redis-cli -p 6380# 指定连接redis的IP地址redis-cli -h 10.0.0.51 -a 123# 指定连接密码redis-cli -a 123 库操作12# 切换库[ ...

[toc] 总体介绍Redis数据安全问题官网介绍：http://www.redis.io 前面我们提到，Redis是一个缓存中间件，它的最大特点是使用内存从而使其性能强悍。但是使用内存的方式有一个致命的特点就是数据没办法持久化保存。然而Redis持久化存储有两种持久化方案，RDB(Redis DataBase)和 AOF(Append-Only File)。其中RDB是将内存中的数据进行快照存储到磁盘，AOF则为可回放的命令日志记录redis内的所有操作。它们各有特点也相互独立。Redis4之后支持RDB-AOF混合持久化的方式，结合了两者的优点，可以通过 aof-use-rdb-preamble 配置项可以打开混合开关。 什么是持久化将内存中的数据写入到磁盘，永久保存 持久化的模式 RDB模式 AOF模式 RDB模式快照持久化（RDB）概述 RDB(Redis DataBase)是将Redis内存中的数据进行Snaptshot快照存储在磁盘内，是Redis的默认持久化方案。使用RDB持久化默认有三种策略，该持久化策略在redis.conf中可配置，会以一段时间内有指定次数据修改 ...

[toc] 缓存数据库的概念 传统的数据库管理系统把所有数据都放在磁盘上进行管理，所以称做磁盘数据库（DRDB:Disk-Resident Database）。磁盘数据库需要频繁地访问磁盘来进行数据的操作，由于对磁盘读写数据的操作一方面要进行磁头的机械移动，另一方面受到系统调用（通常通过CPU中断完成，受到CPU时钟周期的制约）时间的影响，当数据量很大，操作频繁且复杂时，就会暴露出很多问题。 近年来，内存容量不断提高，价格不断下跌，操作系统已经可以支持更大的地址空间（计算机进入了64位时代），同时对数据库系统实时响应能力要求日益提高，充分利用内存技术提升数据库性能成为一个热点。 在数据库技术中，目前主要有两种方法来使用大量的内存。一种是在传统的数据库中，增大缓冲池，将一个事务所涉及的数据都放在缓冲池中，组织成相应的数据结构来进行查询和更新处理，也就是常说的共享内存技术，这种方法优化的主要目标是最小化磁盘访问。另一种就是内存数据库(MMDB:Main Memory Database，也叫主存数据库)技术，就是干脆重新设计一种数据库管理系统，对查询处理、并发控制与恢复的算法和数据结构进行重 ...