干货分享 | linux系统行为新型实时监控技术
最后更新 :2022.03.05
导语:主要是从系统日常行为安全的角度分享一种能满足线上部署、能够将进程或文件创建、网络连接、网络I/O、文件I/O、shell操作、数据库操作、telnet操作、http访问、系统调用(syscall)和系统资源信息等系统相关的行为信息实时采集和存储的Linux行为监控技术。
万物互联和大数据技术的发展,让我们的生活更加活色生香,其背后离不开安全、稳定可靠的服务器系统。
为了保障服务器系统资源能被用户正常使用,避免被恶意行为劫持,我们需要记录服务器系统资源的使用情况、系统行为事件信息和I/O流量等信息,为服务器系统的运维和安全保障工作提供可靠的数据支撑。
这里我们主要是从系统日常行为安全的角度分享一种能满足线上部署、能够将进程或文件创建、网络连接、网络I/O、文件I/O、shell操作、数据库操作、telnet操作、http访问、系统调用(syscall)和系统资源信息等系统相关的行为信息实时采集和存储的Linux行为监控技术。
传统监控技术
现有系统行为监控的实现技术主要采用以下方法:
1.Linux Kprobes调试技术
Kprobes调试技术是一种专为Linux内核跟踪和调试而设计的特定API。Kprobes允许内核开发人员为任何内核指令以及函数入口和函数返回处理程序安装预处理程序和后处理程序,这些处理程序可以访问并更改寄存器。这样一来,内核开发者们就可以监控系统调用相关工作流程并簿记。利用Kprobes技术,内核开发人员可以在内核的绝大多数指定函数中动态地插入探测点来收集所需的调试状态信息;关于“调用了哪些系统”、“系统何时被调用”、“执行是否正确以及函数的入参和返回值是什么”等疑惑都可以轻松解决。此外,还能将这些信息屏幕输出或转储日志文件。
2.Linux内核的tracepoints(跟踪点)技术
内核的tracepoint是一种轻量级的hooks技术,使用高效的系统调用行为跟踪及相关性能计算,对系统本身的性能只有微小的时间损失和空间损失。通过注册syscall_enter_probe等定制的probe函数,在发生系统调用相关行为后,内核找到probe函数,并将参数等信息传递给probe函数。只要将probe函数中记录的相关行为信息输出,即可达到监控目的。
在现有的Linux系统行为监控工具中,采用Linux Kprobes调试技术、Linux内核的tracepoints(跟踪点)技术的工具有:strace、ftrace、tcpdump、lsof、htop、iftop、systemTap、perf……
以上的工具通常只能作为日常内核开发调试或日常运维分析工具来使用,主要用于开发调试或问题定位等简单的信息输出。然而,这些工具存在一些使用缺陷,可以总结为以下几点:
1、仅适用于内核开发人员调试使用或是运维人员在现场开启使用,各工具特点不一,难以满足系统全面监控的需求。
2、没有提供行为数据的良好存储能力,只提供简单的输出或是日志存储。由于没有数据缓存功能,容易造成行为数据的丢包,不能很好地支撑事后数据回放或分析。
3、不能进行线上运行的实时部署,只能在事后或事中开启,无法满足运维或安全监控的自动化要求。在高吞吐、高并发的服务器上,增加了服务器运行的负担。
新型实时监控缓存技术方案
针对现有技术无法满足线上实时部署、影响服务器性能、行为数据不具备良好的存储和缓存功能等缺陷,我们给大家分享一种具备实时监控和缓存功能的技术方案。
该方案主要是采用分层结构的模型进行架构的,具体分为内核probe层、基于内存映射mmap技术的buffer层、基于本地数据库的用户态缓存层。具体结构如下图:
业务流程描述
下面通过一个具体的系统行为事件信息采集-缓存的例子,来说明这三层之间的业务流关系:
首先,当用户发起网络连接服务主机操作,在服务主机系统中将发生socket accpet系统调用中断,服务进程陷入内核态,进入系统调用例程。
其次,通过Linux内核tracepoints机制,内核查找系统调用tracepoint的probe函数;此时,内核查到已经挂载的内核probe层的probe函数,并将相应accpet系统调用参数信息传入probe函数。
接下来,内核probe层的probe函数将传来的系统调用相关信息进行分类、序列化处理后,将相关参数信息转化为系统行为事件信息写入mmap buffer层。
最后,用户态缓存层进程通过mmap映射技术,从mmap buffer层读取具体的系统行为事件信息,将系统行为事件信息再次格式化为易于阅读和分析的字符串信息,并选择一种本地或分布式的缓存技术,持久化存储系统行为事件信息。
通过上述业务流程的分析,可以概括出上述三层主体功能分别为:内核probe层采集系统调用信息、mmap buffer层转化系统行为事件信息、用户态缓存层持久化系统行为事件信息。如下图所示:
通过上文可以得知,本方案与目前现有工具或方案的主要区别在于本方案体现了以下两方面:实时性、缓存持久化。
实时性
“实时性”就是指系统操作行为(系统调用)信息能够实时感知,“零损耗”地对信息进行采集。
我们知道系统行为信息的采集是由“内核probe层”完成的,在该层中主要也是采用了Linux内核字符设备驱动技术+Linux tracepoints机制。通过开发Linux内核字符设备驱动来驱动probe模块,在probe模块中挂载tracepoint函数,采集各系统调用的相关信息。
为了实现系统调用信息从内核probe层到用户态缓存层的“Zero copy”高效传递,在probe层与用户态缓存层采用了Linux内核驱动与用户态进程实现地址共享的mmap buffer 技术方案。
缓存持久化
经过内核probe层采集的系统行为事件信息存放在mmap buffer层中,为了实时高效地将这些事件信息持久化存储,本方案采用了一种开源高效的本地文件数据库引擎,该引擎占用资源少、无需安装和管理配置、数据吞吐率每秒可达上万条记录。这样轻型的持久化模块,可以通过“零损耗”的方式部署到线上服务器,而不占用服务器资源。
从mmap buffer层中读取到系统行为事件信息,在用户态缓存层还可以根据具体业务的要求,做一些数据处理分析,如格式化、过滤等。最终存放到文件数据库中,从而实现系统行为事件信息的持久化缓存。具体流程如图:
2019年我国网络安全人才缺口超70万,国内3000所高校仅120所开设相关专业,年培养1万-2万人,加上10-20家社会机构,全国每年相关人才输送量约为3万,距离70万缺口差距达95% 。此外, 2021年网络安全人才需求量直线增长,预计达140万,届时,人才需求将飙升232% !
网盾·网络安全攻防实验室,真正的计算机网络信息安全集训基地,面向行业用人特点,为企业培训内核级的计算机信息安全人才,欢迎你来见证!!
- END -
为什么现在都不爱发朋友圈了
你喜欢发朋友圈吗?原来我的朋友圈总可以看到一些奇奇怪怪的有趣灵魂。有拍照技术不行装逼...
如何避免成为脚本小子或者网安工具人
如何避免成为脚本小子或者网安工具人想要避免成为工具人或者脚本小子,你需要注意学习初期...
怎么挑选一家真正好的网络安全培训机构?
目前网络安全行业火热,无论是刚毕业的大学生还是有一定经验的it从业者,都希望成为一名网...
什么是攻击取证与溯源分析工程师
什么是攻击取证与溯源分析工程师攻击取证与溯源分析工程师是网络安全大方向下网络安全应...
转行网络安全需要学什么?网络安全培训方案
转行网络安全需要学什么?网络安全培训方案什么是网络安全?网络安全是指保护网络系统的硬件...
“疫情时代”逐渐结束,经济复苏拐点已至,普通人如何借势发展?
回顾2022年,疫情肆虐,消费停滞,出口受阻,债市震荡,货币和大宗商品暴跌,市场动荡不断。让我们...
2020网络安全逆势而动
2020年,全球地缘政治冲突多发,各国经济问题凸显。全球网络空间态势日趋复杂。人工智能、区...
IP属地还能代理?小心你的隐私
IP属地还能代理?小心你的隐私为了减少网络冒充热点事件当事人、恶意造谣、蹭流量等不良行...
5G网为网络战争提供的那些“可能”
5G网络具有高速率的技术特点。相比4G,其数据传输速率快100倍,最高可达10Gbit/s,让终端用户...
年底还找不到工作建议进厂?建议不要听专家的建议,看这篇就有方向了
情叠加经济衰退,今年就业已经成了让政府头疼的一个大问题。一方面一千多万的大学毕业生...
硬干货:下面这些运维工程师Linux指令你都知道吗?(一)
大家好啊,今天盾叔又来给大家科普内容了!什么?说我水文章,不可能!看来是得给你们点颜色看看,不...
交行一储户近43万元被盗走,人脸识别漏洞成作案工具
最近,交通银行人脸识别漏洞被攻破造成的账户资金盗刷的事件,备受大众关注。究竟是什么情况...
什么是安全实施工程师
什么是安全实施工程师安全实施工程师是网络安全大方向下网络安全建设与实施岗的一个细分...
大学生为什么要去网络安全培训?
大学生为什么要去网络安全培训?作者:时间:2023-07-22 10:50:29网络安全培训 网络安全...
渗透测试之跨站脚本攻击漏洞
跨站脚本漏洞概述跨站脚本攻击,俗称xss,通常指利用网站漏洞从用户处获取隐私信息。跨站脚...
如何从一个萌新一步一步进入网络安全行业?
首先,在准备进入这个行业之前,我们要问一下我们的内心,工作千千万,为什么要想进入这个行业?相信每个人的答案都不一样,有的人会说,这个行业整体上比其他行业赚钱多,有的人会说特别喜欢技术,想钻研一下。还有人会说,这个行业处...
白帽子:聊聊安全界的那些书
感觉今年的安全书籍相对比较萧条,而那本CTF书着实火了一把,其它新出安全书籍其实不多了。...
网安人才缺口太大 这个国家急了
网安人才缺口太大 这个国家急了作者:时间:2023-08-03 15:54:28网络安全培训 网络安全...
网络安全的三大支柱是什么呢
国外一位名为莫雷·哈伯的作者写了关于网络安全三大支柱的三本书:一本是从身份角度出发,...
2022年不断扩大的网络威胁攻击面
在过去的一年里,网络犯罪出现了空前增长。Fortinet研究表明,在2020年7月至2021年6月之间的...
隐秘的战争:中国网络安全发展大事记
隐秘的战争:中国网络安全发展大事记今年,黑客和网络攻击这两个词频频出现在我们的视野中。...
网络安全培训哪家更靠谱?
网络安全培训哪家更靠谱?在回答这个问题之前,我还是要先强调一点:对于大部分网络小白来说,...
网络安全的公司有哪些?
网络安全的公司有哪些?这是目前大学生都在问的一个高频问题,位居岗位热门公司搜索前十。为...
厉害的少年黑客有哪些
儿童节 谈谈那些少年黑客吧前不久,彭博社报道,成功入侵并盗走Nvidia、三星及微软内部资料...
什么是安全产品售前工程师
什么是安全产品售前工程师安全产品售前工程师是网络安全合规管理类岗位下的一个子类别。...
一推开门:怎么全是警察?!
去年,你在暗网上骂了一个墨西哥黑客。这个墨西哥黑客十分生气,想渗透你的电脑,结果发现你的...
网络安全工程师提示你 不要随意把这些东西借给别人
网络安全工程师提示你 不要随意把这些东西借给别人当知根知底的老朋友突然找到你,以工...
什么是可信计算?
什么是可信计算?可信计算,即Trusted Computing,简称TC,是由TCG(可信计算组)推动和开发的技术。...
为何越来越多的年轻人不愿意从事销售工作,纷纷转行网络安全?
为何越来越多的年轻人不愿意从事销售工作,纷纷转行网络安全?现阶段,销售已经成了大多数年...
什么是网络安全培训?什么是网络安全解决方案?
什么是网络安全培训?什么是网络安全解决方案?作者:时间:2023-07-25 16:25:54网络安全培训 ...
网络安全培训机构排名
一提到网络安全培训机构,总会有一部分人跳出来说这一行培训劝退,建议自学。盾叔经过分析后...
毕业旅行的夏天怎么过,来湖北武汉找网盾来学习网络安全吧!
我刚大学毕业,想好好安排一下自己的毕业旅行。于是兴高采烈开始搜索“2021年暑假去哪儿玩...
找不到工作,学网络安全好就业吗?
在面临全球经济萧条的状态下,各行各业都被迫处于紧衣缩食的状态,导致裁员热潮一波接着一波...
一文解释清楚网络安全中二进制安全和逆向工程
一文解释清楚网络安全中二进制安全和逆向工程作者:时间:2023-08-16 16:58:29网络安全培训...
如何用web渗透渗入一个小姐姐的心
公司新来了运营小姐姐,但是身为废物的我在公司默默无闻,怎么才能让小姐姐注意到我呢,既然要...
国外的这份最新权威数据泄漏报告值得看一看
国外的这份最新权威数据泄漏报告值得看一看作者:时间:2023-06-27 15:52:22网络安全培训 ...
鸿蒙系统将于6.2日晚8点正式上线,你要更新的鸿蒙系统安全吗?
鸿蒙系统将于6.2日晚8点正式上线鸿蒙系统,终于要揭开神秘的面纱,站到历史的风口浪尖上了。...
权威统计:全球八成的企业将增招IT和网络安全人员
某权威机构发布了《2022安全能力落差报告》,报告显示,安全能力差距将带给组织多重挑战,包括...
你的手机为什么不安全了?
手机是当代人使用频率最高的工具,但也成为黑客盗取人们隐私和造成其财产损失的最重要目...
当你还在迷茫学什么的时候,可以看看这份文件
建设数字中国是数字时代推进中国式现代化的重要引擎,是构筑国家竞争新优势的有力支撑。...
网络安全培训机构哪家好
目前网络安全行业火热,无论是刚毕业的大学生还是有一定经验的it从业者,都希望成为一名网络...
大数据方向网络安全工程师怎么样?
网络安全就业方向有很多,除了传统的安全服务相关岗位、渗透测书等,还包括移动安全、大数据...
土木男不配拥有爱情?我只花了4个月就让前妻净身出户
现在回忆起那些不堪的过往,我还是会气到发抖。如果不是那天晚上的那通电话,我可能一直都无...
什么是网络安全等级保护咨询师、测评师
什么是网络安全等级保护咨询师、测评师网络安全等级保护咨询师是网络安全合规管理类岗位...
究竟什么是密码学?
什么是密码学?密码学(Cryptology)是一种用来混淆的技术,它希望将正常的、可识别的信息转变...
什么是勒索攻击?勒索攻击到底该怎么防御?
当前,勒索攻击、僵尸网络攻击、DDos攻击、APT攻击、挖矿攻击、供应链攻击、网站攻击、电...
警惕!攻击者偏爱的6大默认配置攻击“宿主”
默认配置可能会存在大量安全漏洞。为了您的网络安全,以下是6个需要慎重检查的产品和服务...
什么是渗透测试工程师
什么是渗透测试工程师渗透测试工程师是网络安全大方向下网络安全应急与防御岗的一个细分...
QQ出事了!大量用户被盗号涉黄
早上刚来,我那个傻白甜男同事一脸尴尬的看着我们说,他的QQ号被盗了。他的QQ大半夜的到处自...
物流管理专业转行,做什么工作比较好?
物流管理专业转行,做什么工作比较好?目前,很多物流管理专业毕业的学生由于工作繁琐枯燥,加...
2022年网络安全培训火了,缺口达95%,揭开网络安全岗位神秘面纱
微软被黑客攻击泄露源代码、巴西国库遭勒索软件攻击、伊朗遭受网络攻击导致全国加油站大...
认识Linux操作系统
任务一 查找Linux系统的基本概况第一步:通过搜索引擎搜索”Linux“Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软...
网络安全中做渗透测试常用的工具有哪些?
网络安全中做渗透测试常用的工具有哪些?渗透测试所使用的工具多种多样。目标是展示恶意...
如果屈原懂一点网络安全技术,就不用跳江了
如果屈原懂一点网络安全技术,就不用跳江了又逢端午,遥祭屈原。一个人与一个节日、一种民俗...
从特斯拉看自动驾驶与国家网络安全
4月19日上海车展,河南安阳的女车主冲上了车顶控诉所购买的特斯拉汽车存在“刹车失灵”问...
网约车钓鱼执法可以反制,网络钓鱼你躲得过吗
昨天看到一则搞笑的视频。6月11号,哈尔滨一男子搭乘网约车的时候,要抽烟,被司机制止了。然...
什么是FTP服务器?有哪些作用?
什么是FTP服务器?FTP服务器(File Transfer Protocol Server)是在互联网上提供文件存储和...
“央视”着重点名,这一行业“人才缺口超300多万”,将成为下一任“风口”!
在2021年,我国出台政策之多,力度之大,不亚于任何时候,像限制教培、调控房地产、反垄断、政...
什么是漏洞分析评估工程师
什么是漏洞分析评估工程师漏洞分析评估工程师是网络安全大方向下网络安全应急与防御岗的...
白帽子:SQL注入WAF绕过
SQL注入WAF绕过1 大小写绕过此类绕过不经常使用,但是用的时候也不能忘了它,他原理是基于SQL语句不分大小写的,但过滤只过滤其中一种。2 替换关键字这种情况下大小写转化无法绕过而且正则表达式会替换或删除select、union...
高考季的永恒话题,年轻人该学什么
今天是高考的第一天。先预祝大家,取得好成绩!提笔的时候,盾叔想起了自己多年来经常重复着高...
遭遇勒索软件攻击该怎么办?
勒索软件已被许多人视为组织面临的最具威胁性的网络安全风险,2019年,超过50%的企业受到勒索软件攻击,估计损失了115亿美元。仅在去年12月,包括佳能、Garmin、柯尼卡美能达和嘉年华在内的主要消费者公司就成为主要勒索软件...
QQ密码集体变123456789?怎么设密码才安全?
继我上篇分析QQ盗号的稿子被和谐以后,QQ再次短暂的上了热搜。、原因是,密码。很多用户的密...
伊朗网络攻击事件背后黑手——Indra
大家还记得伊朗2021年7月9日和10日,伊朗铁路道路与城市发展系统部被黑客攻击的事情吗?当时...
无数苹果用户被盗刷 究竟是人性的扭曲还是黑客技术的进步?
一个小时被刷了5万、十几分钟被盗2万4,20分钟被盗刷1万4、凌晨四点香港异地登录被盗刷1...
智慧城市的网络安全要如何防护
什么是智慧城市?智慧城市是基于知识社会下一代创新的城市信息化高级形态,将新一代信息技...
疫情解封后,挣大钱的机会来了!入职这一行业,普通人也能“一飞冲天”
疫情解封后,挣大钱的机会来了!入职这一行业,普通人也能“一飞冲天”不知不觉我们已经走过...
什么是算力?网络安全是算力的保障
近期,中国工程院院士郑纬民在其发布的文章中提出一个观点:算力是数字经济的新引擎,算力的强...
针对于file_put_contents的一些小技巧
File_put_contents函数中遇见exit();的绕过技巧1. 搭建环境代码?php header(#34;Content...
学习通遭攻击泄露信息1亿7273万条
今天,又一个APP被爆出信息泄漏。安全行业业界内消息,大学生学习软件超星学习通的数据库信...
应用安全产品和企业有哪些?
网盾带你了解那些应用安全产品及企业什么是应用安全?应用安全,就是保障应用程序使用过程和...
网络安全需要学心理学吗
网络安全需要学心理学吗盾叔会经常收到一些小伙伴问这样一个问题:未来如果做网络安全工程...
0基础转行学习网络安全可行吗?
0基础转行学习网络安全可行吗?随着数字经济的发展,网络安全越来越被大众所重视,成了当今...
网络安全怎么找工作?一文带你读懂网络安全专业
网络安全怎么找工作?一文带你读懂网络安全专业作者:时间:2023-07-27 16:13:24网络安全培训...
想自学黑客技术?这些网络安全学习网站收藏好
想自学黑客技术?这些网络安全学习网站收藏好如今,网络安全工程师已经成为很多人向往的高薪...
美国电信巨头遭殃!遭黑客入侵窃取源代码,网络安全威胁不断
4月24日据外媒报道,美国电信巨头T-Mobile在近期遭到黑客组织Lapsus$袭击,源代码被窃取。T-...
企业网络安全防护措施合集,你漏了吗?
我们经常看到报纸或者资讯新闻上又爆出某某公司又被黑客袭击啦,勒索多少多少的,诶盾叔只能...
什么是攻击面管理
什么是攻击面管理网络安全行业几十年的网络防御都是被动式防御。尽管被动的防御成本更低...
什么是渗透测试和代码审计?两者有什么区别呢?
什么是渗透测试和代码审计?两者有什么区别呢?渗透测试与代码审计有什么区别呢?可能大家想...
养老金收不抵支,学网络安全赢在未来
养老金收不抵支 未来你怎么办?你知道未来养老金的来源是什么吗?我们每个人工作后,都会缴纳...
麦当劳系统被攻击,韩国和台湾地区的客户信息遭泄露
6月11日,麦当劳披露了一起数据泄露事件,该事件影响了其美国、韩国和台湾地区的相关员工和...
当黑客遇到骗子:只能一锅端
一直以来我们听到的都是群众被电信诈骗犯骗走了多少万的消息,每当听到这样的事,心里就多了...
30岁转行网络安全来得及吗?有发展空间吗?
30岁转行网络安全来得及吗?有发展空间吗?现阶段,很多30岁左右的人群都面临就业难的问题,...
各省开启元宇宙赛道,元宇宙安全不容忽视
“元宇宙”究竟是什么?在经历了学界两年左右的讨论之后,如今有了一个比较清晰的概念:“沉...
为啥黑客都喜欢盯着远程工作的你企业的员工?
为啥黑客都喜欢盯着远程工作的你企业的员工?后疫情时代,远程办公逐渐成为很多企业上班的...
汶川地震13周年祭,地震监测预警面临的三大网络安全威胁你知道吗?
当时间来到2021年5月12日,这一天,心绪将刮去覆盖在日常之上的层层琐屑,唤起那些隐藏于心的...
全球第二大内存和固态硬盘制造商威刚遭勒索攻击
6月9日,全球第二大存储器和存储制造商威刚(ADATA)表示,曾在5月23日遭到勒索软件攻击,此次攻击...
网络战要来了吗?我国上百重要系统被木马“酸狐狸”攻击
近期,中国多家科研机构先后发现了验证器木马程序的活动痕迹。这让人不禁联想到西工大事件...
网盾带你读好书之——“圣经”《TCP/IP详解卷一》
这本书是TCP/IP领域的经典之作。被称为计算机的圣经书籍,书中主要讲述TCP/IP协议,作者不仅...
传统行业求职困难,武汉网络安全培训是你转行的机会
近两年,因为疫情以及政策的原因,教培、房地产、互联网、电商等行业裁员潮、降薪潮接踵而至...
都说Python语言就业发展方向广泛,与网络安全相比哪个前景更大?
都说Python语言就业发展方向广泛,与网络安全相比哪个前景更大?随着国家的政策的推进,“互...
什么是安全合规风控咨询师
什么是安全合规风控咨询师安全合规风控咨询师是网络安全大方向下网络安全合规与管理岗的...
你知道数字时代的间谍离你有多近吗?
以前,间谍们的活动很容易被发觉,而且被发现的原因多种多样。那我们要如何识别身边那些行...
提升网络安全应用可观察性的5款热门工具推荐
什么是可观测性?可观测性有许多名称,如监测、审计、遥测、仪器。这些词本质上的意思其实...
渗透测试完整思路
渗透测试就是利用所有的手段进行测试,发现和挖掘系统中存在的漏洞,然后撰写渗透测试报告,将...
一张图让你搞清楚网络安全的防护方式
一张图让你搞清楚网络安全的防护方式IPS :入侵防御系统(IPS: Intrusion Prevention Syst...
疫情下行业内卷,大学生就业难,网络安全却成未来10年“铁饭碗”
就业是民生之本、稳定之基、发展之要,大学生就业更是当今社会最受关注的热点话题。据教育...
什么是云计算虚拟化安全
什么是虚拟化?云计算中的安全包括身份和访问管理、数据安全、隐私保护、虚拟化安全。其中...
什么是DNS服务器?有哪些作用?
什么是DNS服务器?DNS服务器是(Domain Name System或者Domain Name Service)域名系统或者...
土木工程专业想转行,能做什么呢?
最近,盾叔在网上看到很多土木工程专业的人都面临着就业困境。大部分人觉得自己专业受限...
- 数据加载中,请稍后...