突然频繁收到一组服务器ping监控不可达的邮件，赶紧登录zabbix监控系统查看流量情况。可以看到流量达到了800M左右，肯定是不正常的。立即尝试使用SSH登录系统。不幸的是，由于网络拥塞，您无法登录或卡住。1、故障排除第一反应是立即通知机房运维人员，将服务器的外网切断，通过内网连接进行检查。但这样一来，流量就会消失，攻击的源头也很难找到。于是联系机房帮忙解决，授权机房技术登录系统，先通过w命令查看是否有异常用户登录，再查看登录日志/var/log/auth.log，不出所料，日志已经被清除；最后使用工具找出哪个连接占用流量大，我使用了iftop工具。机房技术发送拍照，看到本地一直在通过http向ip104.31.225.6发送数据包，继续。好吧，先把这个ip屏蔽掉试试：iptables–AOUTPUT–d104.31.225.6–jDROP奇迹出现了，瞬间流量就下来了，现在可以正常登录系统了。过了一会~不幸的事情发生了，流量又上来了，擦！什么情况！气氛顿时紧张起来。他连忙联系了机房技术，让他进行最后的封IP操作。这次机房的技术人员给我发照片的时候我傻眼了。目的ip变了。这有什么不对的，不可能一个一个挡住他们！冷静下来，仔细想想，把本地契约发出去，那肯定会有程序在本地发出！2、查找攻击源首先通过netstat工具过滤端口，查看运行进程ID：netstat–atup|grep15773，结果什么都没有，换个端口试试，效果一样！让机房技术观察连接状态。原来是短连接，端口很快就会被释放，所以看不到端口的连接状态。对于正常的长连接，可以使用lsof–i:15773找到PID，然后lsof–pPID找到打开的相关文件。好的！决定先断掉外网，从内网SSH进系统，先找到发包的程序！首先通过netstat–antup检查是否有可疑的端口或连接打开。然后使用ps-ef检查可疑进程。仔细检查后，没有可疑情况。会不会是rootkit特洛伊木马程序？说不好，试试看！如果要判断系统是否被植入rootkit，可以使用md5sum来验证执行文件。首先找一个相同版本的操作系统，获取工具执行文件的md5值，然后获取可疑工具执行文件的md5值，比较两者的值是否相同，如果是同样，该工具是值得信赖的，如果不可靠，则很可能被更换。另外，一般工具的可执行文件都在几十K到几百K大小。其实我并没有使用md5的方式来判断这个工具是否值得信赖，因为这个操作系统比较老，很难找到完全相同版本的操作系统。如果有细微差别，可能是工具更新了，md5值不一样。先执行du–sh/bin/lsof查看，发现大小是1.2M，显然有问题。所以尝试将正常系统中的netstat、ps等工具的二进制文件上传到被黑系统中，替换掉原来的。果然，奇迹出现了~3、清理木马程序，执行ps–ef后，发送如下几行可疑程序。在这里，本来想截图的，可惜SSH客户端关闭了，所以没有截图留下。在内存中，大概是这样的：pid/sbin/java.logpid/usr/bin/dpkgd/ps–efpid/usr/bin/bsd-port/gettypid/usr/bin/.sshd接下来看这些进程步骤循序渐进。怎么会有java.log运行的执行文件呢？我问同事有没有跑掉，他们说没有。嗯，先把进程kill掉，把文件移动到别的目录看看。/usr/bin/dpkgd/ps–ef这个过程怎么看起来像我执行的命令？仔细一看，命令的路径有问题，不是/bin/ps，进入这个目录查看。擦，还有几个，基本可以确定这些工具已经换过了。..还有一个getty可执行文件，在正常系统下是不运行的，估计是黑客又留下来的，杀死进程，删除目录。宁可错杀一百个，也不放过一个！.sshd进程？明显很可疑，会不会是ssh后门，干掉！目前，这些异常进程已得到处理。再次执行ps–ef命令看看，奇怪，java.log进程又起来了，是不是有自启动的设置？于是在/etc/init.d下查看，发现有一个异常的可执行文件，在正常的系统中是找不到的。打开一看，果然是自动启动木马程序的脚本。删除这两个脚本，再删除java.log文件，该文件将不再生成，进程将不再运行！好了，可以打开外网，观察一会网络流量不再飙升了。4.总结ls/usr/bin/dpkgd/#被黑客替换的工具(netstatlsofpsss)，系统自带的工具一般不在这个目录下，也无法使用。/sbin/java.log#判断为发包程序，删除后自动生成。/usr/bin/bsd-port#判断是否自动生成java.log或后门程序。/usr/sbin/.sshd#判断是后门程序。如果有其他木马程序怎么办？如果是XSS攻击，那么应用层漏洞入侵呢？对于这些问题，最好的办法就是备份数据，重装系统，一尘不染。但是从我们公司的角度来说，暂时不能重装系统。业务比较复杂，跑的业务很多。黑客趁机入侵的原因：运维人员网络安全意识低，安全策略落实少；上线前不对对外暴露的应用程序进行安全扫描；没有安全测试人员，不关注漏洞的最新动态，不能及时发现漏洞；等针对本次攻击，总结一下防御思路：Linux系统安装后，开启防火墙，只允许可信来源访问指定服务，删除不需要的用户，关闭不需要的服务等；收集日志，包括系统日志、登录日志、程序日志等，对异常关键字进行报警，及时发现潜在风险；实时收集用户登录信息，包括登录时间、密码重试次数、用户执行命令记录等；监控敏感文件或目录的变化，如/etc/passwd、/etc/shadow、/web、/tmp（一般用于上传文件提权）等；流程状态监控，新增流程（非业务和系统流程）的监控和通知；在线服务器系统和网络程序进程安全漏洞扫描。
