合 Linux free命令介绍、buffer和cache的区别、缓存等
Tags： Linux监控命令介绍swapBuffer Cache缓存交换空间buffercachedrop_cachesfree释放Cache
- 简介
- free输出示例
- Linux 6下：
- Linux 7下：
- free命令的选项
- free 与 available 的区别
- buffer和cache的区别
- Page Cache
- Buffer Cache
- 释放Cache（回收cache）
- 为什么要清除 buffers 和caches？
- 如何手工释放Cache
- 示例
- 为什么echo 0 ＞ /proc/sys/vm/drop_caches会报错
- cache都能被回收么？
- tmpfs
- 共享内存shm
- mmap
- 查看缓存命中率
- 如何查看 Linux 当前缓存了哪些大文件？
- 文件的缓存大小
- Linux系统cache使用频繁过大，如何让系统自动积极的清理cache
- 参数配置
- 脚本定期清理cache
- 交换空间(swap space)
- 总结
- 参考
简介
Linux free命令用于显示内存状态。
free指令会显示内存的使用情况，包括实体内存，虚拟的交换文件内存，共享内存区段，以及系统核心使用的缓冲区等。
free输出示例
Linux 6下：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | [root@dbs ~]# free -m total used free shared buffers cached Mem: 193838 98861 94976 0 1 36914 -/+ buffers/cache: 61946 131891 Swap: 67583 43 67540 [root@dbs ~]# free -g total used free shared buffers cached Mem: 189 96 92 0 0 36 -/+ buffers/cache: 60 128 Swap: 65 0 65 [root@oadata ~]# free -g total used free shared buffers cached Mem: 63 60 2 0 0 53 -/+ buffers/cache: 7 55 Swap: 16 0 16 [root@lhrora11204 /]# free total used free shared buffers cached Mem: 25647072 1131728 24515344 11532 66604 469096 -/+ buffers/cache: 596028 25051044 Swap: 10485760 0 10485760 [root@lhrora11204 /]# free -k total used free shared buffers cached Mem: 25647072 1131728 24515344 11532 66604 469116 -/+ buffers/cache: 596008 25051064 Swap: 10485760 0 10485760 [root@lhrora11204 /]# |
free的默认显示单位是kb
在linux 6中，我们看到free命令有三行内容：Mem，-/+ buffers/cache，Swap，代表的内容如下：
| 名称 | 代表的内容 |
|---|---|
| Mem | 内存的使用情况。total代表总的内存大小， used 代表程序已经使用的内存大小，free代表的是空闲的内存大小， shared 代表的是共享内存，buffers 代表的是 buffers cache缓冲（即将要写入磁盘）, cached 代表的是 Page cache缓存（从磁盘读取到内存）. |
| -/+ buffers/cache | 表示物理内存已用多少，可用多少。used 代表的除去buffers和cached实际程序占用的内存， free代表的是“ total - 第二行used”， 也就是 “第一行free + 第一行buffers + 第一行cached” |
| Swap | 交换空间（虚拟内存）的使用情况 |
示例：
1 2 3 4 5 | [root@tencent64 ~]# free total used free shared buffers cached Mem: 132256952 72571772 59685180 0 1762632 53034704 -/+ buffers/cache: 17774436 114482516 Swap: 2101192 508 2100684 |
在以上这个系统中，物理内存128g，内存其实真实才用了17G左右，而不是70g。
Linux 7下：
centos7 的free 命令多了一个 -h 参数，它会自动根据内存的大小，自动转换成合适的单位，默认的计算倍数是 1024 。free 的显示信息来自于/proc/meminfo，常用参数：
-h 以人性化显示
--si 指定计算倍数为1000.
-b 指定单位为bytes
-m 指定单位为mb
-k 指定单位为kb，默认单位
-g 指定单位为gb
-t 显示物理内存和虚拟内存的总和
-s n 每隔n秒显示一次
-c 显示多少次
-V 显示free的版本信息并退出
-l 显示最低和最高的内存数据统计
-w 将buff和cacher 分开显示，默认是在一起显示的。
1 2 3 4 | [root@docker35 ~]# free -h total used free shared buff/cache available Mem: 44G 5.2G 298M 1.9G 39G 37G Swap: 10G 432K 10G |
先说明一些基本概念
第一列Mem 内存的使用信息Swap 交换空间的使用信息
第一行total 系统总的可用物理内存大小used 已被使用的物理内存大小free 还有多少物理内存可用shared 被共享使用的物理内存大小buff/cache 被 buffer 和 cache 使用的物理内存大小available 还可以被 应用程序 使用的物理内存大小
total 代表的总的内存 (对应/proc/meminfo 里的MemTotal)
used 代表的是 已经使用的内存
free 是代表空闲的内存(对应/proc/meminfo 里的MemFree)
shared 代表的是共享的内存(对应/proc/meminfo 里的Shmem)
buff/cache 代表的是 buff(对应/proc/meminfo里的Buffers)和cache的内存(对应/proc/meminfo 里的Cached and Slab)，
available 代表的是 活跃的内存
(官方文档对于available这样写到：Estimation of how much memory is available for starting new applications, without swapping. Unlike the data provided by the cache or free fields, this field takes into account page cache and also that not all reclaimable memory slabs will be reclaimed due to items being in use (MemAvailable in /proc/meminfo, available on kernels 3.14, emulated on kernels 2.6.27+, otherwise the same as free)
) available 代表的是一个新的应用程序可以使用内存的估计值，它不等于 free + buff/cache ,因为在centos 7中并不是所有的buffer/cache空间都可以被回收。
free命令的选项
在linux环境下，使用man命令、--help命令、info命令可查询free命令的所有选项，以--help为例，如：
现在对free命令的所有选项分别进行解释：
注意：free命令的选项区分大小写，请认真对照上图中是大写还是小写
- free -b：以bytes为单位来显示内存的信息。
free -k：以kb为单位来显示内存的信息。
free -m：以m为单位来显示内存的信息。
free -g：以G为单位来显示内存的信息。
free -h：以适于人类可读方式显示内存信息。-h与其他命令最大不同是-h选项会在数字后面加上适于人类可读的单位
如我们一起看到的，在1,0数字后这里是G(GB)字母。当数字并没有达到GB时，free足够聪明来知道并在每个数字后面跟上合适的单位。后面的M - 数字929告诉我们它有929MB(译注: 原文为929 number tell us its 969 Megabytes，这里应该为输入错误)。
free -l：显示高低内存的利用率。
free -t：显示linux的全部内存。
如果我们需要每列的总计信息，我们可以在 free 命令后面跟上 -t 选项。这会在字底部额外加入一行显示。
free -s N：表示每隔N秒打印一次内存信息，直到用ctrl+c结束
free -c N：表示重复打印内存信息N次
free -w ：wide output
free -V ：显示版本信息
free命令的选项是可以组合的，举例如下
free -hs 3： 以人类可读的方式，每隔3s打印一次内存信息，直到ctrl+c结束
free -s 2 -c 4：每隔2秒打印一次内存信息，共打印4次
free 与 available 的区别
free 是真正尚未被使用的物理内存大小。available 是还可以被应用程序使用的内存大小，available = free + buffer + cache (注：只是大概的计算方法，实际中的数据往往有较大的误差)
Linux 为了提升读写性能，会消耗一部分内存资源缓存磁盘数据，对于内核来说，buffer 和 cache 其实都属于已经被使用的内存。但当应用程序申请内存时，如果 free 内存不够，内核就会回收 buffer 和 cache 的内存来满足应用程序的请求。
buffer和cache的区别
buffer和cache是两个在计算机技术中被用滥的名词，放在不通语境下会有不同的意义。
先来一幅图：
在Linux的内存管理中，这里的buffer指Linux内存的Buffer cache。这里的cache指Linux内存中的Page cache。
Buffer名为缓冲，是指将要被写入磁盘的缓冲区的数据（在写入磁盘前的存储在内存中的内容），Buffer在操作系统中指Buffer cache， 中文一般翻译为 "缓冲区"。
Cache名为缓存，是从磁盘读取到缓存的数据，指 CPU 和内存之间高速缓存。Cache在操作系统中指 Page Cache，中文一般翻译为 "页高速缓存"或缓冲区缓存或页面缓存。注意，Cache 只有块的概念而没有文件的概念，它只是把磁盘上的块直接搬到内存中而不关心块中究竟存放的是什么格式的文件。
Page Cache
Page Cache：文件系统层级的缓存，从磁盘里读取内容时存储到这里，这样程序读取磁盘内容就会非常快，比如使用grep和find等命令查找内容和文件时，第一次会慢很多，再次执行就快好多倍，几乎是瞬间。但如上所说，如果对文件的更新不关心，就没必要清cache，否则如果要实施同步，必须要把内存空间中的cache clean下。
Page cache主要用来作为文件系统上的文件数据的缓存来用，尤其是针对当进程对文件有read／write操作的时候。如果你仔细想想的话，作为可以映射文件到内存的系统调用：mmap是不是很自然的也应该用到page cache？在当前的系统实现里，page cache也被作为其它文件类型的缓存设备来用，所以事实上page cache也负责了大部分的块设备文件的缓存工作。
Buffer Cache
Buffers 指的是 Memory used by kernel buffers（磁盘等块设备的缓冲） ，buffers 的字面意思就是缓冲，缓冲存在的目的是为了解决从速度快的地方往速度慢的地方输出东西，缓冲经常用于像 内存写入数据到磁盘，寄存器数据写到内存等等。位于内存buffer中的数据不是即时写入磁盘，而是系统空闲或者buffer达到一定大小统一写到磁盘中，所以断电易失，为了防止数据丢失所以我们最好正常关机或者多执行几次sync命令，让位于buffer上的数据立刻写到磁盘里。
Buffer cache则主要是设计用来在系统对块设备进行读写的时候，对块进行数据缓存的系统来使用。这意味着某些对块的操作会使用buffer cache进行缓存，比如我们在格式化文件系统的时候。一般情况下两个缓存系统是一起配合使用的，比如当我们对一个文件进行写操作的时候，page cache的内容会被改变，而buffer cache则可以用来将page标记为不同的缓冲区，并记录是哪一个缓冲区被修改了。这样，内核在后续执行脏数据的回写（writeback）时，就不用将整个page写回，而只需要写回修改的部分即可。
释放Cache（回收cache）
为什么要清除 buffers 和caches？
因为caches是缓存的一些数据，当我们实际的数据内容已经更新了的话，那么当我们需要获取最新的数据时候，我们就需要清除caches里面的内容。或者当我们的内存的不足(将被耗尽)时，那么系统会自动清除buffers 和caches ，以满足程序对内存的需求。
Linux内核会在内存将要耗尽的时候，触发内存回收的工作，以便释放出内存给急需内存的进程使用。一般情况下，这个操作中主要的内存释放都来自于对buffer／cache的释放。尤其是被使用更多的cache空间。既然它主要用来做缓存，只是在内存够用的时候加快进程对文件的读写速度，那么在内存压力较大的情况下，当然有必要清空释放cache，作为free空间分给相关进程使用。所以一般情况下，我们认为buffer/cache空间可以被释放，这个理解是正确的。
但是这种清缓存的工作也并不是没有成本。理解cache是干什么的就可以明白清缓存必须保证cache中的数据跟对应文件中的数据一致，才能对cache进行释放。所以伴随着cache清除的行为的，一般都是系统IO飙高。因为内核要对比cache中的数据和对应硬盘文件上的数据是否一致，如果不一致需要写回，之后才能回收。
如何手工释放Cache
在系统中除了内存将被耗尽的时候可以清缓存以外，我们还可以使用下面这个命令来人工触发缓存清除的操作：：
1 2 | sync echo 1 > /proc/sys/vm/drop_caches |
注意：在生产环境释放cache要慎重，避免引起性能抖动！
当然，这个文件可以设置的值分别为 1 、 2 、 3 。它们所表示的含义为：
echo 1 > /proc/sys/vm/drop_caches表示仅清除页面缓存（PageCache） 。
echo 2 > /proc/sys/vm/drop_caches表示清除回收 slab 分配器中的对象（包括目录项缓存和 inode 缓存）。 slab 分配器是内核中管理内存的一种机制，其中很多缓存数据实现都是用的 pagecache 。
echo 3 > /proc/sys/vm/drop_caches
表示清除所有缓存，包括 pagecache 和 slab 分配器中的缓存对象（包括目录项缓存和 inode 缓存）。
写入到drop_cache将清空缓存而不会杀死任何应用程序/服务。
如果你必须清除磁盘高速缓存，第一个命令在企业和生产环境中是最安全，"...echo 1> ..."只会清除页面缓存。 在生产环境中不建议使用上面的第三个选项"...echo 3 > ..." ，除非你明确自己在做什么，因为它会清除缓存页，目录项和inodes。
Page Cache（页高速缓存）对普通文件的缓存我们可以这样理解：当内核要读一个文件(比如 /etc/hosts)时，它会先检查这个文件的数据是不是已经在页高速缓存中了。如果在，就放弃访问磁盘，直接从内存中读取。这个行为称为缓存命中。如果数据不在缓存中，就是未命中缓存，此时内核就要调度块 I/O 操作从磁盘去读取数据。然后内核将读来的数据放入页高速缓存中。这种缓存的目标是文件系统可以识别的文件(比如 /etc/hosts)。
示例
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | [root@oadata ~]# free -g total used free shared buffers cached Mem: 63 60 2 0 0 53 -/+ buffers/cache: 7 55 Swap: 16 0 16 [root@oadata ~]# echo 2 > /proc/sys/vm/drop_caches [root@oadata ~]# free -g total used free shared buffers cached Mem: 63 60 2 0 0 53 -/+ buffers/cache: 7 55 Swap: 16 0 16 [root@oadata ~]# free -g total used free shared buffers cached Mem: 63 60 2 0 0 53 -/+ buffers/cache: 7 55 Swap: 16 0 16 [root@oadata ~]# echo 1 > /proc/sys/vm/drop_caches [root@oadata ~]# free -g total used free shared buffers cached Mem: 63 6 56 0 0 0 -/+ buffers/cache: 6 56 Swap: 16 0 16 |
为什么echo 0 ＞ /proc/sys/vm/drop_caches会报错
1 2 3 4 5 | [root@mdw ~]# cat /proc/sys/vm/drop_caches 0 [root@mdw ~]# echo 0 > /proc/sys/vm/drop_caches -bash: echo: write error: Invalid argument [root@mdw ~]# |
使用命令 cat /proc/sys/vm/drop_caches能看到其默认值是0，但为什么执行echo 1 > /proc/sys/vm/drop_caches命令后，执行echo 0 > /proc/sys/vm/drop_caches会报错？：“bash: echo: write error: Invalid argument”。
报错原因：“0”只是初始值(虚拟值)，而设置成“1”或“2”或“3”，只是去执行清理相应缓存的一个动作，而不是状态，所以没必要再将/proc/sys/vm/drop_caches设置为0。另外，Linux的drop_caches只给了使用者三个选项1，2，3；所以当赋值0的时候系统报“无效参数”，因为0只能给系统用。
cache都能被回收么？
有关tmpfs和shm共享内存请参考：https://www.dbaup.com/linuxzhongdeshmhetmpfsjieshao.html
我们分析了cache能被回收的情况，那么有没有不能被回收的cache呢？当然有。我们先来看第一种情况：
tmpfs
大家知道Linux提供一种“临时”文件系统叫做tmpfs，它可以将内存的一部分空间拿来当做文件系统使用，使内存空间可以当做目录文件来用。现在绝大多数Linux系统都有一个叫做/dev/shm的tmpfs目录，就是这样一种存在。当然，我们也可以手工创建一个自己的tmpfs，方法如下：
1 2 3 4 5 6 7 8 9 10 | [root@tencent64 ~]# mkdir /tmp/tmpfs [root@tencent64 ~]# mount -t tmpfs -o size=20G none /tmp/tmpfs/ [root@tencent64 ~]# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/sda1 10325000 3529604 6270916 37% / /dev/sda3 20646064 9595940 10001360 49% /usr/local /dev/mapper/vg-data 103212320 26244284 71725156 27% /data tmpfs 66128476 14709004 51419472 23% /dev/shm none 20971520 0 20971520 0% /tmp/tmpfs |
于是我们就创建了一个新的tmpfs，空间是20G，我们可以在/tmp/tmpfs中创建一个20G以内的文件。如果我们创建的文件实际占用的空间是内存的话，那么这些数据应该占用内存空间的什么部分呢？根据pagecache的实现功能可以理解，既然是某种文件系统，那么自然该使用pagecache的空间来管理。我们试试是不是这样？
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | [root@tencent64 ~]# free -g total used free shared buffers cached Mem: 126 36 89 0 1 19 -/+ buffers/cache: 15 111 Swap: 2 0 2 [root@tencent64 ~]# dd if=/dev/zero of=/tmp/tmpfs/testfile bs=1G count=13 13+0 records in 13+0 records out 13958643712 bytes (14 GB) copied, 9.49858 s, 1.5 GB/s [root@tencent64 ~]# [root@tencent64 ~]# free -g total used free shared buffers cached Mem: 126 49 76 0 1 32 -/+ buffers/cache: 15 110 Swap: 2 0 2 |
我们在tmpfs目录下创建了一个13G的文件，并通过前后free命令的对比发现，cached增长了13G，说明这个文件确实放在了内存里并且内核使用的是cache作为存储。再看看我们关心的指标：-/+ buffers/cache那一行。我们发现，在这种情况下free命令仍然提示我们有110G内存可用，但是真的有这么多么？我们可以人工触发内存回收看看现在到底能回收多少内存：
1 2 3 4 5 6 | [root@tencent64 ~]# echo 3 > /proc/sys/vm/drop_caches [root@tencent64 ~]# free -g total used free shared buffers cached Mem: 126 43 82 0 0 29 -/+ buffers/cache: 14 111 Swap: 2 0 2 |
