1、先執行 `df -h` 查看是哪個路徑佔用空間比較大

![image.png](/static/img/95c2e27baad73bc248eebce7ce7958f0.image.webp)

2、進入佔用空間比較大的文件路徑，執行`du -sh * | sort -rh`

![image.png](/static/img/a09fbfb238f074c822443efb07a53583.image.webp)


CentOS 硬盤空間告警怎麽處理？

## 日志

> 用过`docker`部署的童鞋可能都遇到过,`docker`在运行一段时间,可能会出现磁盘空间被占满的情况,
经过排查后发现,,docker容器自身在运行时会不断产生一个以容器id-json命名的log文件,一般是在`/var/lib/docker/containers/`目录下,该日志文件会严重占用磁盘空间。


以下介绍几种解决方案:
### 1. 应急解决: 清空log日志
```
cd /var/lib/docker/containers/容器id
echo '' > 容器id-json.log
```
#### 脚本处理
創建脚本：
```
touch clean_docker_log.sh
```
輸入以下内容

```
echo "======== start clean docker containers logs ========"

logs=$(find /var/lib/docker/containers/ -name *-json.log)

for log in $logs
        do
                echo "clean logs : $log"
                echo '' > $log
        done

echo "======== end clean docker containers logs ========"
```
授權
```
chmod 755 clean_docker_log.sh
```

執行
```
./clean_docker_log.sh
```

![image.png](/static/img/e48e15bbe8fac7f1b58f2f06de0c8471.image.webp)

**更进一步也可以配合定时任务来进行处理**

### 2. 运行时控制:
```
# max-size 最大数值
# max-file 最大日志数
docker run -it --log-opt max-size=10m --log-opt max-file=3 redis
```

### 3. 全局配置:
创建或修改文件 `/etc/docker/daemon.json`，并增加以下配置
```
{
"log-driver":"json-file",
"log-opts":{
"max-size" :"50m","max-file":"1"
}
}
```
然后重启dokcer
```
sudo systemctl daemon-reload
sudo systemctl restart docker
```


:::warning{title="特别注意"}
已存在的容器不会生效，需要重建该容器才可以使配置生效
:::

## 鏡像

### 最簡單的方法
```
docker system prune -a  //自动清理空间
```

- 该指令默认会清除所有如下资源：
    - 已停止的容器（container）
    - 未被任何容器所使用的卷（volume）
    - 未被任何容器所关联的网络（network）
    - 所有悬空镜像（image）。
- 指令默认只会清除悬空镜像，未被使用的镜像不会被删除。
- 添加 `-a` 或 `--all` 参数后，可以一并清除所有未使用的镜像和悬空镜像。
- 可以添加 `-f` 或 `--force` 参数用以忽略相关告警确认信息。
- 指令结尾处会显示总计清理释放的空间大小。

![image.png](/static/img/40c0469033785f4bc942660e79090957.image.webp)

另外，使用命令 `docker system df` 可以查看docker所占的硬盘大小，如：

![image.png](/static/img/24b4480b30e344b153e5ab14ef69f72f.image.webp)


## docker 常用排查命令
```
1.删除不再使用的数据卷：
 $ docker volume rm $(docker volume ls -q) 或者 $ docker volume prune
2.删除 build cache 
 $ docker builder prune
3.docker 系统一键清理没用的空间
 $ docker system prune
4.键删除所有已经停止的容器
 $ docker container prune
5.查看docker占用
 $ docker system df
```



:::danger{title="警告"}
如果空間佔用還是比較高，看下 `/data`文件夾，看下01開頭的文件，沒用就刪掉

```
cd /data
rm -rf 01*
```

:::



Docker 解決占用磁盘空间问题


## NodeExporter安裝 `(用於Prometheus監控)`
从https://github.com/prometheus/node_exporter/releases 下載需要的安裝包 ，放到服務器的 `/tmp`



![image.png](/static/img/978303bd9eb49b030453944c82ad4471.image.webp)

上傳安裝包
```
cd /tmp
```


解壓安裝包
```
mkdir -p /opt/node_exporter/
tar -zxvf node_exporter-1.7.0.linux-amd64.tar.gz -C /opt/node_exporter 
```


創建軟連接
```
ln -s node_exporter-1.7.0.linux-amd64 /opt/node_exporter/latest
```



![image.png](/static/img/eb368b0bafcc8977d706eab92594cb6e.image.webp)

创建配置文件
```
vim /opt/node_exporter/configuration.yml
```
输入以下内容
```
tls_server_config:
  cert_file: /opt/node_exporter/tlsCertificate.crt
  key_file: /opt/node_exporter/tlsCertificate.key
basic_auth_users:
  prometheus: '$2y$10$cA9UlOBRKkOsKC2lWhe9c.coKHBMiB9GIOIuIXAvI3CoKKIJuFPom'
```

上传证书到`/opt/node_exporter/`
```
cd /opt/node_exporter/
```

systemctl方式開機啟動配置

創建node_exporter.service
```
vim /lib/systemd/system/node_exporter.service
```
輸入以下內容：
```
[Unit]
Description=The node_exporter
After=network.target
[Service]
Type=simple
User=root
ExecStart=/opt/node_exporter/latest/node_exporter --web.config.file=/opt/node_exporter/configuration.yml
Restart=on-failure
[Install]
WantedBy=multi-user.target
```

啟動
```
systemctl daemon-reload
systemctl restart node_exporter.service
systemctl enable node_exporter.service
systemctl status node_exporter.service
```

![image.png](/static/img/830fb5a0a418deee1010c65862850aeb.image.webp)

查看
```
curl 127.0.0.1:9100/metrics

curl -u prometheus:n4v6WzX2aLN8 https://localhost:9100/metrics

```



## Sidecar 安裝`(用於graylog收集日誌)`

> 考慮到我們很多服務器沒法直接連接到互聯網，我們選擇離線安裝方式。

安裝文件存放路徑：`W:\ISD\03 Project\Graylog\graylog sidecar\Linux`


上傳安裝包到 `/tmp`
```
cd /tmp
```

安裝
```
rpm -ivh graylog-sidecar-1.3.0-1.x86_64.rpm
```

修改配置
```
vim /etc/graylog/sidecar/sidecar.yml
```

修改下面內容
```
#生產是172.18.25.12:9000/api,測試是172.19.25.12:9000/api
server_url: "http://172.18.25.12:9000/api" 
server_api_token: "在graylog上生成"
node_name: "node_xxxx_服務器ip" #xxxx是業務服務器命名
update_interval: 10
send_status: true

```
安裝服務：
```
graylog-sidecar -service install
```

開機啟動：
```
systemctl enable graylog-sidecar
```

啟動服務：
```
systemctl start graylog-sidecar
```

查看日誌
```
tail -fn500 /var/log/graylog-sidecar/sidecar.log
```

安裝filebeat
```
rpm -ivh filebeat-8.5.3-x86_64.rpm


```




CentOS 安裝 NodeExporter 和 Sidecar

## 安裝windows_exporter`(用於Prometheus監控)`

### 1、下載

下載連接：https://github.com/prometheus-community/windows_exporter/releases/tag/v0.25.1

![image.png](/static/img/12183c6e884133f1071242d3dc89595f.image.webp)

選擇`windows_exporter-0.25.1-amd64.exe`下載

### 2、windows 服務操作（一般就創建+運行）


:::warning{title="注意"}
要用管理員身份運行命令行，否則會出現拒絕訪問的情況。
:::

#### 創建服務命令
```
sc create windows_exporter binpath= C:\windows_exporter-0.25.1-amd64.exe type= own start= auto displayname= windows_exporter
```

![image.png](/static/img/0355daabb39e237aec6f4bf3962bc6d7.image.webp)

:::warning{title="注意"}
`binpath` 是`windows_exporter-0.25.1-amd64.exe`的存放路徑
:::

> sc create的用法说明：

```
sc create
描述:
        在注册表和服务数据库中创建服务项。
用法:
        sc <server> create [service name] [binPath= ] <option1> <option2>...
选项:
注意: 选项名称包括等号。
      等号和值之间需要一个空格。
 type= <own|share|interact|kernel|filesys|rec>
       (默认 = own)
 start= <boot|system|auto|demand|disabled|delayed-auto>
       (默认 = demand)
 error= <normal|severe|critical|ignore>
       (默认 = normal)
 binPath= <BinaryPathName>
 group= <LoadOrderGroup>
 tag= <yes|no>
 depend= <依存关系(以 / (斜杠) 分隔)>
 obj= <AccountName|ObjectName>
       (默认 = LocalSystem)
 DisplayName= <显示名称>
 password= <密码>
 ```


 #### 啟動服務命令
 ```
 sc start windows_exporter
 ```


![image.png](/static/img/c2e8570c3899bd8266a80542e77b57d6.image.webp)

啟動服務之後，瀏覽器訪問：http://127.0.0.1:9182/metrics 出現下面頁面就表示安裝成功了

![image.png](/static/img/00d00eae674e0056c61b41367cd4ac05.image.webp)


#### 停止服務命令
```
sc stop windows_exporter
```


#### 刪除服務命令
```
sc delete windows_exporter
```


 
 

 
:::warning{title="注意"}


![image.png](/static/img/176609c48175998bd6d27e0aa4e1bc84.image.webp)

sc delete 拒绝访问
当使用`sc delete`命令删除服务时，如果出现“SC OpenService 失败5拒绝访问”的错误，通常是因为当前用户没有足够的权限来执行该操作。为了解决这个问题，你需要以管理员权限运行命令提示符。以下是解决步骤：

- 打开开始菜单，搜索`cmd`。
- 对命令提示符图标鼠标右键，选择`以管理员身份运行`。
- 以管理员身份打开命令提示符后，输入`sc delete 服务名称`命令，然后按回车键。
- 此时，你应该能够成功删除服务，不再看到`SC OpenService 失败5拒绝访问`的错误提示。
:::



## Sidecar 安裝`(用於graylog收集日誌)`


### 1、下載

下載連接：https://github.com/Graylog2/collector-sidecar/releases/tag/1.5.0


![image.png](/static/img/7e9163a9260d062c775d2c4966e891d1.image.webp)


選擇`graylog_sidecar_installer_1.5.0-1.exe`下載

### 2、安裝

雙擊 `graylog_sidecar_installer_1.5.0-1.exe` 安裝
填寫一下信息：

![image.png](/static/img/0237ef623c08e87e1835bb8555a27cf6.image.webp)

```
#生產是172.18.25.12:9000/api,測試是172.19.25.12:9000/api
graylog api："http://172.18.25.12:9000/api" 

name of instance: "node_xxxx_服務器ip" #xxxx是業務服務器命名

server api token："在graylog上面生成"
```

安裝完成後要執行下面兩個命令（需要用Administrator運行cmd）：
```
C:\Program Files\Graylog\sidecar\graylog-sidecar.exe -service install
C:\Program Files\Graylog\sidecar\graylog-sidecar.exe -service start
```
检查Sidercar客户端是否上线 

![image.png](/static/img/475a7537c58d2279d94b0c4b03f8f1ff.image.webp)

:::warning{title="注意"}
Windows 安裝：

不需要安裝，windows sidecar包已包含Filebeat和winLogBeat
:::





Windows 安裝 windows_exporter 和 Sidecar

## 目標
- 在CentOS6中安装jdk8；
- 在CentOS6中安装tomcat9；
- 在CentOS6中把Tomcat配置為服務


## 分析
- 1.下载jdk8、tomcat9；
- 2.解压jdk到`/opt/jdk/`下,并改名为jdk;
- 3.配置jdk系统全局环境变量（`/etc/profile`）;
- 4.解压tomcat到`/opt/tomcat/`下，并創建軟連接 `/opt/tomcat/latest`;
- 5.配置tomcat（`/opt/tomcat/latest/bin` 目录下）startup.sh、shutdown.sh、catalina.sh 环境；
- 6.將tomcat配置為服務（`/etc/init.d/` ）；
- 7.测试。


## 安裝

### jdk8安裝：

#### 1、官網下載

[jdk8下載鏈接](https://www.oracle.com/java/technologies/downloads/#java8)



![image.png](/static/img/3a12b7256d6dfd1e4e5c88dac4f55fce.image.webp)

執行下面命令查看系統是32位還是64
```
uname -m
```

![image.png](/static/img/ae3ac129fc2851da6efdbf6d20c54ecc.image.webp)

- `x86_64`:64位
- `i386`:32位
:::warning{title="注意"}
接下來的步驟以64位安裝為例
:::

#### 2、ssh鏈接到服務器，把上面下載的安裝包放到/tmp
```
cd /tmp
```

#### 3、解压源码（解压到/opt/jdk 下）
```
mkdir -p /opt/jdk/
tar -zxvf jdk-8u401-linux-x64.tar.gz -C /opt/jdk 
```
#### 4、創建軟連接
```
ln -s /opt/jdk/jdk1.8.0_401 /opt/jdk/latest
```

![image.png](/static/img/fe2774ec66d99be32c6dbfb6e28e090b.image.webp)
#### 5、配置jdk全局系统变量
```
vim /etc/profile
```
添加下面內容：
```
export JAVA_HOME=/opt/jdk/latest
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
```
#### 6、重新加载配置文件
```
source /etc/profile
```
#### 7、检查是否安裝成功
```
java -version
```

![image.png](/static/img/0255ab441da69e27c09708dd9a2ffa05.image.webp)

### Tomcat9 安裝：

#### 1、官網下載

[Tomcat9下載鏈接](https://tomcat.apache.org/download-90.cgi)
>下載最新版



![image.png](/static/img/fbf8b2e9938b6ae14baf8fd7241fa25c.image.webp)




#### 1、ssh鏈接到服務器，把上面下載的安裝包放到`/tmp`
```
cd /tmp
```

#### 2、創建Tomcat安裝目錄
```
mkdir -p /opt/tomcat/
```

#### 3、把安裝包解壓到`/opt/tomcat/`
```
sudo tar -xzf /tmp/apache-tomcat-9.0.86.tar.gz  -C /opt/tomcat/
```

#### 4、創建軟連接
```
ln -s /opt/tomcat/apache-tomcat-9.0.86 /opt/tomcat/latest
```

![image.png](/static/img/0281227b2f1b0fe4ac64d8c6bce3f87c.image.webp)

#### 5、將Tomcat配置為服務


把tomcat的脚本文件拷一份到/etc/init.d目录
```
cp /opt/tomcat/latest/bin/catalina.sh /etc/init.d/tomcat9

```

并把改脚本授权给所有用户执行
```
chmod 755 /etc/init.d/tomcat9
```

拷贝的脚本并不能直接使用，还需要修改添加一些配置。
```
vi /etc/init.d/tomcat9
```

添加`chkconfig`和`description`两行注释。有这两行注释才能支持`chkconfig`命令配置服务；
```
#chkconfig: 2345 10 90
#description: tomcat9 service

export JAVA_HOME=/opt/jdk/latest #jdk路径
export TOMCAT_HOME=/opt/tomcat/latest #tomcat路径
export CATALINA_HOME=/opt/tomcat/latest #tomcat路径

```
:::warning{title="注意"}
这里配置的`2345`指的是`2345`这4个运行级别会开机自启动，`10`是启动优先级，`90`是关闭优先级，优先级的值为`0-99`，越小优先级越高。

前面在`/etc/profile`文件配置中的环境变量只会在shell登录后执行，开机的过程中并不会加载`/etc/profile`，但是tomcat的启动脚本中需要这两个变量，所以需要在启动脚本中加入这两个变量。
:::



![image.png](/static/img/28fc39df10911e7db7147cc4ccbf25eb.image.webp)


使用`chkconfig --add`命令添加服务
```
chkconfig --add tomcat9
```
配置完成后Tomcat服务即可开机自启动

同时还可以使用`service tomcat9 start`和`service tomcat9 stop`命令来启动和停止tomcat服务。

使用`chkconfig --list`查看啟動的服務








日志

NodeExporter安裝 (用於Prometheus監控)

安裝windows_exporter(用於Prometheus監控)

1、下載

目標

NodeExporter安裝 `(用於Prometheus監控)`

安裝windows_exporter`(用於Prometheus監控)`