Linux修改最大文件句柄数及常用内核参数优化

by ·0评论 · 5,663 人阅读 · 隐藏边栏 · 最后更新: 2023/8/27

1、临时生效

# ulimit -SHn 10000

其实ulimit 命令身是分软限制和硬限制，加-H就是硬限制，加-S就是软限制。默认显示的是软限制，如果运行ulimit 命令修改时没有加上-H或-S，就是两个参数一起改变。

软限制和硬限制的区别？

硬限制就是实际的限制，而软限制是警告限制，它只会给出警告。


2、永久生效

要想ulimits 的数值永久生效，必须修改配置文件/etc/security/limits.conf

在该配置文件中添加

* soft nofile 204800  

* hard nofile 204800

* soft nproc 204800

* hard nproc 204800 

echo "* soft nofile 204800"  >> /etc/security/limits.conf

echo "* hard nofile 204800"  >> /etc/security/limits.conf

echo "* soft nproc 204800"  >> /etc/security/limits.conf

echo "* hard nproc 204800 "  >> /etc/security/limits.conf

* 表示所用的用户


3、修改系统总限制

其实上面的修改都是对一个进程打开的文件句柄数量的限制，我们还需要设置系统的总限制才可以。

假如，我们设置进程打开的文件句柄数是1024 ，但是系统总限制才500，所以所有进程最多能打开文件句柄数量500。从这里我们可以看出只设置进程的打开文件句柄的数量是不行的。所以需要修改系统的总限制才可以。

echo  6553560 > /proc/sys/fs/file-max

上面是临时生效方法，重启机器后会失效；

永久生效方法：

修改 /etc/sysctl.conf, 加入

echo  fs.file-max = 6553560  >> /etc/sysctl.conf

重启生效

原文：https://blog.csdn.net/saga_gallon/article/details/80305515 

总结:

  • /proc/sys/fs/file-max限制不了/etc/security/limits.conf

  • 只有root用户才有权限修改/etc/security/limits.conf

  • 对于非root用户， /etc/security/limits.conf会限制ulimit -n，但是限制不了root用户

  • 对于非root用户，ulimit -n只能越设置越小，root用户则无限制

  • 任何用户对ulimit -n的修改只在当前环境有效，退出后失效，重新登录新来后，ulimit -n由limits.conf决定

  • 如果limits.conf没有做设定，则默认值是1024

  • 当前环境的用户所有进程能打开的最大问价数量由ulimit -n决定

  • 如果配置都改了，cat /proc/pidxx/limits 文件限制数还是不生效，可以考虑杀掉老进程，进程重启后会读取新的内核配置


补充：

更改普通用户最大进程数，立即生效，centos6系统：

[root@chegva resin]#cat /etc/security/limits.d/90-nproc.conf

*          soft    nproc     102400

centos7系统：

[root@chegva ~]# cat /etc/security/limits.d/20-nproc.conf

*          soft    nproc     4096

root       soft    nproc     unlimited

# 查找进程的最大句柄数限制

[root@chegva ~]# cat /proc/19736/limits  |grep 'files'

Max open files            3002400              3002400              files

# 查看当前进程打开的文件句柄数

[root@chegva ~]# ls /proc/19736/fd |wc -l

28

# 查看某个进程打开的文件数

[root@chegva ~]# lsof -p 9395 |wc -l

41

# 查看所有进程的文件打开数

[root@chegva ~]# lsof |wc -l

294478

echo -e '\n=======handle=======';lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|head

289774 7110

217560 7843 

48744 27194

1）Linux系统下，所有进程允许打开的最大fd数量。查询语句：

/proc/sys/fs/file-max

2）Linux系统下，所有进程已经打开的fd数量及允许的最大数量。查询语句：

/proc/sys/fs/file-nr

3）单个进程允许打开的最大fd数量.查询语句：

ulimit -n

4)单个进程（例如进程id为5454）已经打开的fd.查询语句：

ls -l /proc/5454/fd/

a. 所有进程打开的文件描述符数不能超过/proc/sys/fs/file-max

b. 单个进程打开的文件描述符数不能超过user limit中nofile的soft limit

c. nofile的soft limit不能超过其hard limit

d. nofile的hard limit不能超过/proc/sys/fs/nr_open


我们总结一下，其实在 Linux 上能打开多少个文件，限制有两种：

  • 第一种，进程级别的，限制的是单个进程上可打开的文件数。具体参数是 soft nofile 和 fs.nr_open。它们两个的区别是 soft nofile 可以不同用户配置不同的值。而 fs.nr_open 在一台 Linux 上只能配一次。

  • 第二种，系统级别的，整个系统上可打开的最大文件数，具体参数是fs.file-max。但是这个参数不限制 root 用户。

另外这几个参数之间还有耦合关系，因此还要注意以下三点：

  • 1、如果你想加大 soft nofile,  那么 hard nofile 也需要一起调整。因为如果 hard nofile 设置的低， 你的 soft nofile 设置的再高都没用，实际生效的值会按二者里最低的来。

  • 2、如果你加大了 hard nofile，那么 fs.nr_open 也都需要跟着一起调整。如果不小心把 hard nofile 设置的比 fs.nr_open 大了，后果比较严重。会导致该用户无法登陆。如果设置的是 * 的话，那么所有的用户都无法登陆。

  • 3、还要注意如果你加大了 fs.nr_open，但是用的是 echo "xx" > ../fs/nr_open 的方式，刚改完你可能觉得没问题。只要机器一重启你的 fs.nr_open 设置就会失效，还是会无法登陆。

假如你想让你的进程可以打开 100 万个文件描述符，我觉得比较稳妥点的修改方法是干脆都直接用 conf 文件的方式来改。这样比较统一，也比较安全。

# vi /etc/sysctl.conf
fs.nr_open=1100000  //要比 hard nofile 大一点
fs.file-max=1100000 //多留点buffer
# sysctl -p
# vi /etc/security/limits.conf
*  soft  nofile  1000000
*  hard  nofile  1000000

参考：刨根问底儿，看我如何处理 Too many open files 错误！

1.常用内核参数的修改

动态修改：修改/proc/下配置的值，重启系统后会恢复原样

echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
sysctl -w net.ipv4.icmp_echo_ignore_all = 0
# sysctl -a |grep mem
net.ipv4.tcp_mem = 94500000 915000000 927000000 #整个系统tcp缓冲区(单位：页)
net.ipv4.tcp_rmem = 4096 87380 4194304 #tcp接收队列缓冲区(单位字节)：最小值、平均值、最大值(8388608)
net.ipv4.tcp_wmem = 4096 16384 4194304 #tcp发送队列缓冲区
 
net.ipv4.tcp_max_syn_backlog = 16384 #syn缓冲队列，一般调成并发连接数的3倍左右
net.ipv4.tcp_syn_retries = 2 #syn重试次数，减少syn攻击
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syncookies = 1 #当syn等待队列溢出时，启用cookies来处理

  • 内存参数：共享内存/proc/sys/kernel/shm或sysctl -a | grep shm

    kernel.shmmni = 4096 可用最大共享内存段
    kernel.shmall = 18446744073692774399 可以使用的所有内存(单位为页，默认1页是4096字节)
    kernel.shmmax = 18446744073692774399 一个共享内存段中内存最大使用容量

  • 信号量优化：sysctl -a |grep sem

    # 一个系统有多个信号量集合，一个集合有多个信号量(集合数、可用信号量、每个信号量可用操作数、每个集合的信号量) ，当集合数乘每个集合的信号量大于可用信号量时取大值
    # SEMMSL SEMMNS SEMOPM SEMMNI
    kernel.sem = 250 32000 32 128
    # 大型应用系统建议设置每个信号量可用操作数<=每个集合的信号量
    kernel.sem = 250 32000 128 128

  • 文件句柄：当系统使用的句柄数已经接近最大可使用数，则需成倍增大最大句柄可使用数

    # 查看最大句柄数
    cat /proc/sys/fs/file-max
    1000000
    # 查看当前句柄使用数
    cat /proc/sys/fs/file-nr
    1536(系统初始化的句柄数) 0(系统已经使用的句柄数) 1000000(最大可使用数)

  • TCP连接优化

# 控制 SYN 包重传的次数，默认值是5次
net.ipv4.tcp_syn_retries = 2
# 查看半连接队列已满，引发的失败次数
netstat -s | grep "SYNs to LISTEN"
# 调整SYN半连接队列大小，需tcp_max_syn_backlog的值和somaxconn、backlog(根据服务设定方式)值一同增大
net.ipv4.tcp_max_syn_backlog = 16384
net.core.somaxconn = 32768
# 开启syncookies功能可以在不使用SYN半连接队列的情况下成功建立连接。0 值，表示关闭该功能;1 值，表示仅当 SYN 半连接队列放不下时，再启用它;2 值，表示无条件开启功能;
net.ipv4.tcp_syncookies = 1
# SYN_RCV优化，控制 SYN+ACK 包重传的次数，默认值是5次
net.ipv4.tcp_synack_retries = 2
# accept 队列的长度取决于somaxconn和backlog之间的最小值，min(somaxconn,backlog),somaxconn是内核参数，默认128，由net.core.somaxconn来设置
# 查看服务端进程 accept 队列的长度
ss -ltn
State            Recv-Q           Send-Q                     Local Address:Port                       Peer Address:Port
LISTEN           0                511                              0.0.0.0:80                              0.0.0.0:*
Recv-Q：当前accept队列的大小，也就是当前已完成三次握手并等待服务端accept()的TCP连接
Send-Q:accept 队列最大长度，上面的输出结果说明监听 80 端口的 TCP 服务，accept 队列的最大长度为511
# 当超过了 accept 连接队列，服务端则会丢掉后续进来的 TCP 连接，丢掉的 TCP 连接的个数会被统计起来，我们可以使用 netstat -s 命令来查看:
date;netstat -s | grep overflowed
# 无论作为客户端还是服务器，都打开Fast Open功能
net.ipv4.tcp_fastopen = 3

# 调整 FIN 报文重试次数为5次，默认值是0，特指8次
net.ipv4.tcp_orphan_retries = 5
# 调整孤儿连接最大次数
net.ipv4.tcp_max_orphans = 16384000
# 调整孤儿连接 FIN_WAIT2 状态的持续时间，默认值是60
net.ipv4.tcp_fin_timeout = 20

# 调整timewait最大个数
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_timestamps = 1

# 扩充窗口
net.ipv4.tcp_window_scaling = 1
# TCP接收缓冲区范围
net.ipv4.tcp_rmem = 4096 87380 4194304
# TCP发送缓冲区范围
net.ipv4.tcp_wmem = 4096 16384 4194304
# TCP内存范围
net.ipv4.tcp_mem = 94500000 915000000 927000000
# 启动TCP接收缓冲区自动调节功能
echo 1 > /proc/sys/net/ipv4/tcp_moderate_rcvbuf

net.ipv4.tcp_sack = 1
net.ipv4.ip_local_port_range = 1024 65000
net.nf_conntrack_max = 6553500
net.netfilter.nf_conntrack_max = 6553500
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_established = 3600
net.core.netdev_max_backlog = 32768
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

内核参数优化：

永久修改：修改/etc/sysctl.conf配置文件里的值


参考：


anzhihe 安志合个人博客，版权所有 丨 如未注明，均为原创 丨 转载请注明转自：https://chegva.com/3148.html | ☆★★每天进步一点点,加油!★★☆ | 
标签：

您可能还感兴趣的文章！

发表评论

电子邮件地址不会被公开。 必填项已用*标注