一篇学会Apache测试工具ab的使用

2021-07-23

为什么要做压测

做为一名合格的后端工程师，在实现业务的同时，也要学会使用压测工具自己进行测试。现在大多数公司都采用前后端分离的方式，那么自己写的接口运行速度如何，QPS能达到多少，加入大并发的情况下，是否会出现因为并发导致的数据不一致问题，这是必须考虑的问题。

Apache的ab工具简介

Apache Bench，是 Apache 自带的压力测试工具，简称ab。

ab的原理：ab命令会创建多个并发访问线程，模拟多个访问者同时对某一URL地址进行访问。它的测试目标是基于URL的，因此，它既可以用来测试apache的负载压力，也可以测试nginx、lighthttp、tomcat、IIS等其它Web服务器的压力。

ab命令对发出负载的计算机要求很低，它既不会占用很高CPU，也不会占用很多内存。但却会给目标服务器造成巨大的负载，其原理类似CC攻击。自己测试使用也需要注意，否则一次上太多的负载。可能造成目标服务器资源耗完，严重时甚至导致死机。

安装

Linux

1
2
3

yum -y install httpd-tools  //centos
apt-get install apache2-utils //ubuntu
ab -V #查看版本

Window

这里我就简单说下，首先下载Apache，安装后到服务中启用，然后进入到Apache的bin目录中，如我的安装目录在“D:\Apache24\bin”，进入后运行命令行。

参数介绍

D:\Apache24\bin>ab
ab: wrong number of arguments
Usage: ab [options] [http://]hostname[:port]/path
Options are:
    -n requests     Number of requests to perform
    -c concurrency  Number of multiple requests to make at a time
    -t timelimit    Seconds to max. to spend on benchmarking
                    This implies -n 50000
    -s timeout      Seconds to max. wait for each response
                    Default is 30 seconds
    -b windowsize   Size of TCP send/receive buffer, in bytes
    -B address      Address to bind to when making outgoing connections
    -p postfile     File containing data to POST. Remember also to set -T
    -u putfile      File containing data to PUT. Remember also to set -T
    -T content-type Content-type header to use for POST/PUT data, eg.
                    'application/x-www-form-urlencoded'
                    Default is 'text/plain'
    -v verbosity    How much troubleshooting info to print
    -w              Print out results in HTML tables
    -i              Use HEAD instead of GET
    -x attributes   String to insert as table attributes
    -y attributes   String to insert as tr attributes
    -z attributes   String to insert as td or th attributes
    -C attribute    Add cookie, eg. 'Apache=1234'. (repeatable)
    -H attribute    Add Arbitrary header line, eg. 'Accept-Encoding: gzip'
                    Inserted after all normal header lines. (repeatable)
    -A attribute    Add Basic WWW Authentication, the attributes
                    are a colon separated username and password.
    -P attribute    Add Basic Proxy Authentication, the attributes
                    are a colon separated username and password.
    -X proxy:port   Proxyserver and port number to use
    -V              Print version number and exit
    -k              Use HTTP KeepAlive feature
    -d              Do not show percentiles served table.
    -S              Do not show confidence estimators and warnings.
    -q              Do not show progress when doing more than 150 requests
    -l              Accept variable document length (use this for dynamic pages)
    -g filename     Output collected data to gnuplot format file.
    -e filename     Output CSV file with percentages served
    -r              Don't exit on socket receive errors.
    -m method       Method name
    -h              Display usage information (this message)

-n：请求的总数量，默认是一次

-c：每次请求的数量。默认是一次一个。

-t：测试所进行的最大秒数。默认没有时间限制。

-p：包含了需要POST的数据的文件。

-P：对一个中转代理提供BASIC认证信任。用户名和密码由一个:隔开，并以base64编码形式发送。无论服务器是否需要(即是否发送了401认证需求代码)，此字符串都会被发送。

-T：POST数据所使用的Content-type头信息。

-v：设置显示信息的详细程度-4或更大值会显示头信息，3或更大值可以显示响应代码(404,200等),2或更大值可以显示警告和其他信息。

-V：显示版本号并退出。

-w：以HTML表的格式输出结果。默认时，它是白色背景的两列宽度的一张表。

-i：执行HEAD请求，而不是GET。

-x：设置

属性的字符串。

-X：对请求使用代理服务器。

-y：设置属性的字符串。

-z：设置属性的字符串。

-C：对请求附加一个Cookie:行。其典型形式是name=value的一个参数对，此参数可以重复。

-H：对请求附加额外的头信息。此参数的典型形式是一个有效的头信息行，其中包含了以冒号分隔的字段和值的对(如,”Accept-Encoding:zip/zop;8bit”)。

-A：对服务器提供BASIC认证信任。用户名和密码由一个:隔开，并以base64编码形式发送。无论服务器是否需要(即,是否发送了401认证需求代码)，此字符串都会被发送。

-h：显示使用方法。

-d：不显示”percentage served within XX [ms] table”的消息(为以前的版本提供支持)。

-e：产生一个以逗号分隔的(CSV)文件，其中包含了处理每个相应百分比的请求所需要(从1%到100%)的相应百分比的(以微妙为单位)时间。由于这种格式已经“二进制化”，所以比’gnuplot’格式更有用。

-g：把所有测试结果写入一个’gnuplot’或者TSV(以Tab分隔的)文件。此文件可以方便地导入到Gnuplot,IDL,Mathematica,Igor甚至Excel中。其中的第一行为标题。

-i：执行HEAD请求，而不是GET。

-k：启用HTTP KeepAlive功能，即在一个HTTP会话中执行多个请求。默认时，不启用KeepAlive功能。

-q：如果处理的请求数大于150，ab每处理大约10%或者100个请求时，会在stderr输出一个进度计数。此-q标记可以抑制这些信息。

使用

ab的命令参数比较多，我们经常使用的是-c和-n参数。

简单举例：

1
2
3

ab -n 1000 -c 10 http://test.mall-api.com/webapi/index/index?debug=1
-n 100表示请求总数为1000
-c 10表示并发用户数为10

总结起来就是此条命令模仿一共请求1000次，有10个用户同时访问的场景

请求结果如下：

D:\Apache24\bin>ab -n 1000 -c 10 http://test.mall-api.com/webapi/index/index?debug=1
This is ApacheBench, Version 2.3 <$Revision: 1879490 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking test.mall-api.com (be patient)
Completed 100 requests
Completed 200 requests
Completed 300 requests
Completed 400 requests
Completed 500 requests
Completed 600 requests
Completed 700 requests
Completed 800 requests
Completed 900 requests
Completed 1000 requests
Finished 1000 requests


Server Software:        nginx	# Web服务器软件名称
Server Hostname:        test.mall-api.com	# 请求的URL主机名
Server Port:            80	# Web服务器软件的监听端口

Document Path:          /webapi/index/index?debug=1	# 表示请求的URL中的根绝对路径
Document Length:        26978 bytes	# 表示HTTP响应数据的正文长度

Concurrency Level:      10	# 表示并发用户数
Time taken for tests:   435.017 seconds	# 所有这些请求被处理完成所花费的总时间
Complete requests:      1000 # 表示总请求数量
Failed requests:        0	# 表示请求失败的数量
Total transferred:      27583768 bytes	# 所有请求的响应数据长度总和
HTML transferred:       26978000 bytes	# 所有请求的响应数据中正文数据的总和
Requests per second:    2.30 [#/sec] (mean)	# 吞吐率，也叫QPS，计算公式：Complete requests/Time taken for tests
Time per request:       4350.172 [ms] (mean)	# 用户平均请求等待时间，从用户角度看，完成一个请求所需要的时间。计算公式：Time token for tests/（Complete requests/Concurrency Level）
Time per request:       435.017 [ms] (mean, across all concurrent requests)	# 服务器完成一个请求的时间，计算公式：Time taken for tests/Complete requests，正好是吞吐率的倒数。
Transfer rate:          61.92 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.3      1       1
Processing:  1083 4308 1191.9   4018   11842
Waiting:     1083 4308 1191.9   4018   11842
Total:       1083 4309 1191.9   4019   11843
ERROR: The median and mean for the initial connection time are more than twice the standard
       deviation apart. These results are NOT reliable.

Percentage of the requests served within a certain time (ms)
  50%   4019	# 大约百分之50的请求在4秒返回
  66%   4559
  75%   4936
  80%   5151
  90%   5884
  95%   6568
  98%   7524
  99%   8123	# 大约百分之99的请求在8秒返回
 100%  11843 (longest request)

如果上面的说明觉得不够详细，也可以看下面的详细说明：

除此之外还有其他一些信息，需要说明下，如下：
Server Software表示被测试的Web服务器软件名称。

Server Hostname表示请求的URL主机名。

Server Port表示被测试的Web服务器软件的监听端口。

Document Path表示请求的URL中的根绝对路径，通过该文件的后缀名，我们一般可以了解该请求的类型。

Document Length表示HTTP响应数据的正文长度。

Concurrency Level表示并发用户数，这是我们设置的参数之一。

Time taken for tests表示所有这些请求被处理完成所花费的总时间。

Complete requests表示总请求数量，这是我们设置的参数之一。

Failed requests表示失败的请求数量，这里的失败是指请求在连接服务器、发送数据等环节发生异常，以及无响应后超时的情况。如果接收到的HTTP响应数据的头信息中含有2XX以外的状态码，则会在测试结果中显示另一个名为“Non-2xx responses”的统计项，用于统计这部分请求数，这些请求并不算在失败的请求中。

Total transferred表示所有请求的响应数据长度总和，包括每个HTTP响应数据的头信息和正文数据的长度。注意这里不包括HTTP请求数据的长度，仅仅为web服务器流向用户PC的应用层数据总长度。

HTML transferred表示所有请求的响应数据中正文数据的总和，也就是减去了Total transferred中HTTP响应数据中的头信息的长度。

Requests per second吞吐率，也叫QPS，计算公式：Complete requests/Time taken for tests

Time per request用户平均请求等待时间，从用户角度看，完成一个请求所需要的时间。计算公式：Time token for tests/（Complete requests/Concurrency Level）。

**Time per requet(across all concurrent request)**服务器完成一个请求的时间，计算公式：Time taken for tests/Complete requests，正好是吞吐率的倒数。
也可以这么统计：Time per request/Concurrency Level。

Transfer rate表示网络传输速度，计算公式：Total trnasferred/ Time taken for tests，这个统计很好的说明服务器的处理能力达到极限时，其出口宽带的需求量。

对于大文件的请求测试，这个值很容易成为系统瓶颈所在。要确定该值是不是瓶颈，需要了解客户端和被测服务器之间的网络情况，包括网络带宽和网卡速度等信息。

Percentage of requests served within a certain time（ms）
这部分数据用于描述每个请求处理时间的分布情况，比如以上测试，80%的请求处理时间都不超过5151ms，这个处理时间是指前面的Time per request，即对于单个用户而言，平均每个请求的处理时间。

这个表第一行表示有50%的请求都是在5151ms内完成的，可以看到这个值是比较接近平均系统响应时间，以此类推。

Connection Times (ms)

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.3      1       1
Processing:  1083 4308 1191.9   4018   11842
Waiting:     1083 4308 1191.9   4018   11842
Total:       1083 4309 1191.9   4019   11843

这几行组成的表格主要是针对响应时间也就是第一个Time per request进行细分和统计。一个请求的响应时间可以分成网络链接（Connect），系统处理（Processing）和等待（Waiting）三个部分。表中min表示最小值； mean表示平均值；[+/-sd]表示标准差（Standard Deviation），也称均方差（mean square error），这个概念在中学的数学课上学过，表示数据的离散程度，数值越大表示数据越分散，系统响应时间越不稳定。 median表示中位数； max当然就是表示最大值了。

需要注意的是表中的Total并不等于前三行数据相加，因为前三行的数据并不是在同一个请求中采集到的，可能某个请求的网络延迟最短，但是系统处理时间又是最长的呢。所以Total是从整个请求所需要的时间的角度来统计的。这里可以看到最慢的一个请求花费了11843ms(即100% 11843 (longest request))。

另外如需压测https协议的地址，将ab换成abs即可

D:\Apache24\bin>ab -n 1000 -c 10 http://test.mall-api.com/webapi/index/index?debug=1

如何计算服务器的承受能力

原理：每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间。

公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS) 。

机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器。

每天300w PV 的在单台机器上，这台机器需要多少QPS？

( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)。

一般需要达到139QPS，因为是峰值。

开发中常用英文单词

2021-05-24

商城

invoice 发票
tax 税
product/goods 商品
shop/store 店铺

文章

用户

mobile 手机
email 邮箱 uuuuuuuuuuuuuuu

公共

name 名称（姓名/公司名/商品名等）
status 状态 1-启用，0-未启用
type 类型 0-全部，1-类型A，类型B
创建时间
更新时间
是否删除 is_del 0-正常，1-删除

如何优雅地使用 Stack Overflow？

2021-04-29

技术

一，提问前一定要搜索，先在 Google 搜索，然后在 StackOverFlow 上搜索，当实在找不到答案后再提问。

二，学习一些典型的提问/回答习惯。

提问：

1，In my limited experience with .. 谦虚表达自己在某方面的经验

2，I am searching for a long time on net. But no use. Please help or try to give some ideas how to achieve this. 找了很久未果，求助攻

3，after searching around for a decent XX solution and found that everything out there was difficult to use. 找了N种方法都发现太TM难了。

4，I’ve looked around and apparently I’ve got the choice between these libraries/ solutions: 说明自己是努力搜索过的，然后目前有了哪几种方案

5，which seems it’s a promising solution. 看起来是一个好解决方案

6，I’ve tried multiple variations of this, but none of them seem to work. Any ideas? 试了很多种方法都无效，求助

7，Wanted to know if it’s good practice to do that and what would be the best way to do that? 我的做法是否正确，是否有更好的法子？

8，Thanks in advance. 先行谢过

回答问题：

1，If I understand you correctly, you want to xxx 如果我没理解错，你想。。

2，Can you provided more details about your use case ? Can you provide more xml and code setting the url ? 提供更详细

当别人回答你的问题后，你对回答的评论：

1，thank you for your answer sincerely 感谢回答

最后附上一篇好文：《提问的智慧》

标签大全

2021-04-29

技术文章收藏

2021-04-28

技术

windows安装npm和vue教程

Hexo站点建设之—快速一个搭建Hexo博客

2021-04-26

技术

Hexo站点建设之—如何将github站点布置到本地

2021-04-26

技术

1、拷贝相关文件

可以将下列文件提交到git，从git拉代码

必须拷贝文件：
├──_config.yml
├── themes # 主题模板
├── scaffolds #文章模板
├── package.json #说明使用哪些包
├── .gitignore #限定在提交的时候哪些文件可以忽略
└── source

（1）讨论下哪些文件是必须拷贝的：首先是之前自己修改的文件，像站点配置_config.yml，theme文件夹里面的主题，以及source里面自己写的博客文件，这些肯定要拷贝的。除此之外，还有三个文件需要有，就是scaffolds文件夹（文章的模板）、package.json（说明使用哪些包）和.gitignore（限定在提交的时候哪些文件可以忽略）。其实，这三个文件不是我们修改的，所以即使丢失了，也没有关系，我们可以建立一个新的文件夹，然后在里面执行hexo init，就会生成这三个文件，我们只需要将它们拷贝过来使用即可。总结：_config.yml，theme/，source/，scaffolds/，package.json，.gitignore，是需要拷贝的。

（2）再讨论下哪些文件是不必拷贝的，或者说可以删除的：首先是.git文件，无论是在站点根目录下，还是主题目录下的.git文件，都可以删掉。然后是文件夹node_modules（在用npm install会重新生成），public（这个在用hexo g时会重新生成），.deploy_git文件夹（在使用hexo d时也会重新生成），db.json文件。其实上面这些文件也就是是.gitignore文件里面记载的可以忽略的内容。总结：.git/，node_modules/，public/，.deploy_git/，db.json文件需要删除。

2、安装模块

执行命令 npm install
安装完会生成 node_modules文件夹

3、生成文件并发布

1 2	hexo clean hexo deploy

引用参考
https://www.jianshu.com/p/906294181814
https://blog.csdn.net/qq_34187711/article/details/88592760

Hexo站点建设之—如何将本地项目发布到github

2021-04-26

技术

Hexo站点建设之——WARN-No-layout-index-html

2021-04-26

技术

一现象描述

执行hexo g或hexo s时，可能会出现如下情况，

二原因猜测

插件
主题
markdown文件

三解决办法

3.1 插件

3.1.1 查看npm安装hexo插件的情况

npm ls --depth 0

3.1.2 安装缺失的插件

npm install acorn --save

3.1.3 再次执行 npm ls –depth 0查看插件安装情况

3.2 主题(themes)

3.2.1 检查themes下的主题和配置

3.2.2 下载最新主题并配置_config.yml

git clone https://github.com/theme-next/hexo-theme-next themes/next

3.2.3 执行hexo g查看执行情况(文件能正常生成)

git常见问题记录

2021-04-26

技术

1、在 .gitignore 文件中增加忽略文件不生效的解决办法

解决方法是先把本地缓存删除，然后重新加入再提交：

// 从本地移除缓存
git rm -rf --cached .
// 重新添加到本地
git add .
// 提交到本地仓库
git commit -m '更新 .gitignore 文件'

2、Git报错解决：OpenSSL SSL_read: Connection was reset, errno 10054

首先，造成这个错误很有可能是网络不稳定，连接超时导致的，
如果再次尝试后依然报错，可以执行下面的命令
git config --global http.sslVerify "false"

3、warning: LF will be replaced by CRLF in 解决办法

在windows下面提交和linux提交的换行符不一样,windows中的换行符为 CRLF
而在linux下的换行符为LF，在windows下直接回车就会出现这个提示,修改的办法是把 core.autocrlf 设置成false

解决办法：
git config --global core.autocrlf false

为什么要做压测

Apache的ab工具简介

安装

参数介绍

使用

如何计算服务器的承受能力

商城

文章

用户

公共

1、拷贝相关文件

2、安装模块

3、生成文件并发布

一 现象描述

二 原因猜测

三 解决办法

3.1 插件

3.1.1 查看npm安装hexo插件的情况

3.1.2 安装缺失的插件

3.1.3 再次执行 npm ls –depth 0查看插件安装情况

3.2 主题(themes)

3.2.1 检查themes下的主题和配置

3.2.2 下载最新主题并配置_config.yml

3.2.3 执行hexo g查看执行情况(文件能正常生成)

1、在 .gitignore 文件中增加忽略文件不生效的解决办法

2、Git报错解决：OpenSSL SSL_read: Connection was reset, errno 10054

3、warning: LF will be replaced by CRLF in 解决办法

一现象描述

二原因猜测

三解决办法