[toc]

技术发展

技术的分类

  • 解决功能性的问题：
    • Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN
  • 解决扩展性的问题：
    • Struts、Spring、SpringMVC、Hibernate、Mybatis
  • 解决性能的问题：
    • NoSQL、Java线程、Hadoop、Nginx、MQ、ElasticSearch

Web 1.0时代

Web1.0的时代，数据访问量很有限，用一夫当关的高性能的单点服务器可以解决大部分问题。

img

Web 2.0时代

随着Web2.0的时代的到来，用户访问量大幅度提升，同时产生了大量的用户数据。加上后来的智能移动设备的普及，所有的互联网平台都面临了巨大的性能挑战。

img

解决CPU及内存压力

img

解决IO压力

img

NoSQL数据库

概述

NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库。

NoSQL 不依赖业务逻辑方式存储，而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。

  1. 不遵循SQL标准。
  2. 不支持ACID。
  3. 远超于SQL的性能。

NoSQL适用场景

  1. 对数据高并发的读写
  2. 海量数据的读写
  3. 对数据高可扩展性的

NoSQL不适用场景

  1. 需要事务支持
  2. 基于sql的结构化查询存储，处理复杂的关系,需要即席查询。
  3. （用不着sql的和用了sql也不行的情况，请考虑用NoSql）

常见NoSQL

  • Memcache
    1. 很早出现的NoSql数据库
    2. 数据都在内存中，一般不持久化
    3. 支持简单的key-value模式，支持类型单一
    4. 一般是作为缓存数据库辅助持久化的数据库
  • Redis
    1. 几乎覆盖了Memcached的绝大部分功能
    2. 数据都在内存中，支持持久化，主要用作备份恢复
    3. 除了支持简单的key-value模式，还支持多种数据结构的存储，比如 list、set、hash、zset等。
    4. 一般是作为缓存数据库辅助持久化的数据库
  • MongoDB
    1. 高性能、开源、模式自由(schema free)的文档型数据库
    2. 数据都在内存中， 如果内存不足，把不常用的数据保存到硬盘
    3. 虽然是key-value模式，但是对value（尤其是json）提供了丰富的查询功能
    4. 支持二进制数据及大型对象
    5. 可以根据数据的特点替代RDBMS ，成为独立的数据库。或者配合RDBMS，存储特定的数据。

数据库类型

行式存储数据库（大数据时代）

img

列式数据库

img

  • Hbase

img

HBase是Hadoop项目中的数据库。它用于需要对大量的数据进行随机、实时的读写操作的场景中。

HBase的目标就是处理数据量非常庞大的表，可以用普通的计算机处理超过10亿行数据，还可处理有数百万列元素的数据表。

  • Cassandra[kəˈsændrə]

img

Apache Cassandra是一款免费的开源NoSQL数据库，其设计目的在于管理由大量商用服务器构建起来的庞大集群上的海量数据集(数据量通常达到PB级别)。在众多显著特性当中，Cassandra最为卓越的长处是对写入及读取操作进行规模调整，而且其不强调主集群的设计思路能够以相对直观的方式简化各集群的创建与扩展流程。

计算机存储单位 计算机存储单位一般用B，KB，MB，GB，TB，EB，ZB，YB，BB来表示，它们之间的关系是：

  • 位 bit (比特)(Binary Digits)：存放一位二进制数，即 0 或 1，最小的存储单位。
  • 字节 byte：8个二进制位为一个字节(B)，最常用的单位。
  • 1KB (Kilobyte 千字节)=1024B，
  • 1MB (Megabyte 兆字节 简称“兆”)=1024KB，
  • 1GB (Gigabyte 吉字节 又称“千兆”)=1024MB，
  • 1TB (Trillionbyte 万亿字节 太字节)=1024GB，其中1024=2^10 ( 2 的10次方)，
  • 1PB（Petabyte 千万亿字节 拍字节）=1024TB，
  • 1EB（Exabyte 百亿亿字节 艾字节）=1024PB，
  • 1ZB (Zettabyte 十万亿亿字节 泽字节)= 1024 EB,
  • 1YB (Jottabyte 一亿亿亿字节 尧字节)= 1024 ZB,
  • 1BB (Brontobyte 一千亿亿亿字节)= 1024 YB.
  • 注：“兆”为百万级数量单位。

图关系型数据库

主要应用：社会关系，公共交通网络，地图及网络拓谱(n*(n-1)/2)

img

DB-Engines 数据库排名

查询网站：http://db-engines.com/en/ranking

image-20230524171253904

实战：结合redis存放session

部署nginx和php

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
# 安装nginx
yum install -y nginx

# 安装php
yum localinstall -y *.rpm

# 解压php
tar xf php.tgz

# 安装php
yum localintall -y *.rpm

# 创建www用户和组
groupadd www -g 666
useradd www -u 666 -g 666 -s /sbin/nologin/ -M

# 编辑nginx主配置文件
vim /etc/nginx/nginx.conf
user www;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;

events {
	worker_connections 1024;
}

http {
	log_format main '$remote_addr - $remote_user [$time_local] "$request" '
					'$status $body_bytes_sent "$http_referer" '
					'"$http_user_agent" "$http_x_forwarded_for"';

	access_log /var/log/nginx/access.log main;

	sendfile on;
	tcp_nopush on;
	tcp_nodelay on;
	keepalive_timeout 65;
	types_hash_max_size 4096;

	include /etc/nginx/mime.types;
	default_type application/octet-stream;
	# Load modular configuration files from the /etc/nginx/conf.d directory.
	# See http://nginx.org/en/docs/ngx_core_module.html#include
	# for more information.
	include /etc/nginx/conf.d/*.conf;
}

# 编辑php配置文件
vim /etc/php-fpm.d/www.conf
; Start a new pool named 'www'.
[www]
user = www
group = www

image-20230528202214592

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
# 编辑nginx网页配置文件
vim /etc/nginx/conf.d/php.conf
server {
	listen 80;
	server_name _;
	root /code/phpmyadmin;

	location / {
		index index.php index.html;
	}

	location ~ \.php$ {
		fastcgi_pass 127.0.0.1:9000;
		fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
		include fastcgi_params;
	}
}

## 下载phpmyadmin代码
wget http://test.driverzeng.com/Nginx_Code/phpMyAdmin-4.9.0.1-all-languages.zip

# 解压代码
unzip phpMyAdmin-4.9.0.1-all-languages.zip

# 改名
mv phpMyAdmin-4.9.0.1-all-languages phpmyadmin

# 创建站点目录
mkdir /code

# 移动php代码到站点目录
mv phpmyadmin/ /code/

# 授权站点目录
chown -R www.www /code/

# 进入站点目录
cd /code/phpmyadmin/

# 备份配置文件
cp config.sample.inc.php config.inc.php

# 编辑php连接数据库的配置文件
vim config.inc.php
 31 $cfg['Servers'][$i]['host'] = '127.0.0.1';
 42 $cfg['Servers'][$i]['controluser'] = 'root';
 43 $cfg['Servers'][$i]['controlpass'] = '123';

image-20230528202322111

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# php配置session连接redis
vim /etc/php.ini
session.save_handler = redis
session.save_path = "tcp://127.0.0.1:6379"
session.auto_start = 1

#注释php-fpm.d/www.conf里面的两条内容，否则session内容会一直写入/var/lib/php/session目录中
vim /etc/php-fpm.d/www.conf
 ;php_value[session.save_handler] = files
 ;php_value[session.save_path] = /var/lib/php/session
 
# 启动nginx和php
systemctl start nginx php-fpm

# 检查端口
netstat -lntup
tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN
26717/php-fpm: mast
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN
26721/nginx: master

redis配置

1
2
3
4
5
6
# 编辑redis配置文件
vim redis.conf
bind 127.0.0.1 10.0.0.51 172.16.1.51

# 启动redis
redis-server /root/redis-stable/redis.conf

数据库配置

1
2
3
4
5
6
7
8
9
10
11
12
13
# 安装数据库
yum install -y mariadb-server

# 启动数据库
systemctl start mariadb

# 设置root密码
mysqladmin -u root password '123'

# 测试连接
mysql -uroot -p123

# 浏览器访问10.0.0.51

image-20230528202541157

image-20230528202544026