小密圈精华第一期《云端的威胁检测》和《开源威胁情报的自动整理》

我们整理“安全数据与机器学习”小密圈最近的两篇精华,试运行一期精华总结。第一篇谈了RSA的议题,比如检测Azure上被黑的虚拟主机,第二篇介绍了一篇从开源情报中自动发现和分析IOC的文章,非常有趣。

RSA乱谈:云端的威胁检测

作者:Bindog

首席技术官Mark Russinovich在RSA2017会议上的演讲《Advances in Cloud-Scale Machine Learning for Cyber-Defense》(链接:https://www.youtube.com/watch?v=skSIIvvZFIk),把他的演讲内容要点整理了一下和大家分享:

Mark把攻击方称为红队(Red Team),防御方称为蓝队(Blue Team),红队的Kill Chain是Recon-Delivery-Foothold-Persist-Move-Elevate-Exfiltrate,蓝队的Kill Chain是Gather-Detect-Alert-Triage-Context-Plan-Execute。Mark认为目前所面临的主要有两大挑战,一是False Positives太多(指的是警告太多,难以甄别),二是高度依赖人工分析研判(Kill Chain从Triage开始基本都得靠人来做)。Mark特别指出,可视化并不能解决所有问题,在Flase Positives太多的问题上,可视化基本没啥用,还是得靠引入更多的领域知识来解决。

Mark主要介绍了两个成功在Azure上应用的案例,一是检测Azure上被黑的虚拟主机(尤其是往外发垃圾邮件的主机),方法是综合了Office 365的垃圾邮件数据和Azure的IPFIX数据,利用Gradinet Boosting算法来训练,这个案例主要是想表明不同来源的数据集结合在一起的效果拔群;另一个案例是检测发给用户的钓鱼邮件中的恶意附件,方法是结合反病毒软件扫描结果和沙盒分析结果,其中在沙盒分析中用到了两个模型:Fingerprint模型和Behavioral模型,这个案例主要是想表明将机器学习模型和规则(比如YARA规则)相结合效果拔群。

最后Mark希望蓝队的工作不要停留在发现和检测上,而应该考虑更多检测之外的事情。这里介绍了他微软同事John Lambert的工作,如何把警告数据转变成高价值的情报,请参阅 https://blogs.technet.microsoft.com/johnla/2015/04/26/defenders-think-in-lists-attackers-think-in-graphs-as-long-as-this-is-true-attackers-win/

John Lambert认为:攻击方总是从图的角度思考问题,而防御方总是从表的角度思考问题,这就导致了攻击者总是走在防御者前面,所以作为防御方我们也应该从图的角度去思考问题。怎么理解John的这个思路呢?他的意思是,攻击方往往会利用前期搜集到的情报信息构建一张图(参考Maltego),关键节点和薄弱环节一目了然,在此基础上可以一步步逼近最终目标。而防御方有的只是孤立的警告信息(所谓的表),如某主机流量异常、某某账户发生异常,这些异常过于笼统,并不能直接产生有价值的情报。所以,我们应该把警告(alerts)细化为事件(incidents),例如:p1进程在主机h2上以user3权限得到执行、主机h2上的p5进程向IP地址ip3传输了50M的文件等等,最终把这些事件所涉及的要素串联起来,同样可以生成一张图。通过这个图能更好的理解攻击方的意图,更进一步的,能够利用机器学习算法对图结构进行研判分类,提前截断攻击方的Kill Chain

个人感觉,在云上部署用于威胁检测的机器学习模型是大势所趋,大厂在这方面有着得天独厚的优势:海量数据源和大规模集群,听Mark说他们训练分类恶意附件的模型只需要几分钟,1毫秒以内即可完成分类(个人小作坊的破机器哭晕在厕所)……所以在这方面,去找个靠谱的大腿抱抱是个不错的选择。

皮校长评论:云上判断被侵入机器需要业务知识组合较多,多个维度信息有效融合是重点,搞起来是个细致的工程问题,Azure已经先搞了国内公司要跟上。

碳基体评论:将警告还原成事件,然后根据不同事件中事件主体与事件对象进行关联的思路在很大的数据量的情况下效果尤其明显

PPT下载地址 exp-t11-advances-in-cloud-scale-machine-learning-for-cyber-defense

开源威胁情报的自动整理

作者:tree

从开源情报中自动发现和分析IOC(Indicator of Compromise) 从技术博客中抽取IOC相关的文章,然后利用NLP技术结合安全报告类文章的特点从中自动提取IOC Term和Context并自动生成OpenIOC格式的记录,在大幅降低人工介入的情况下取得了较好的抽取效果。 对2003/1 – 2016/04期间45个安全类博客发布的71000篇文章进行了IOC自动生成和关联分析,从中发现了很多表面看起来没有关联但是实际是有关联的事件。

皮校长评论: 这个方法不错,大家可以看一下增长知识,同时也可以给实战系统做参考。自动分析人工blog的关联给威胁情报补充重要一步,并且还能相互纠错还可以发现长程关联,有自动知识发现的意思。这让我想起来多年前面试彭博社的时候讲过类似的项目,自动综合多家新闻源推测某些金融走势,想法异曲同工。

下载地址:Acing the IOC Game

本文版权由原作者和Kakapo共同拥有。转载须联系kakapo项目组并征得同意,kakapo项目组对任何形式的侵权行为保留追究的权利。详情请咨询help@paperpo.ml。

“小密圈精华第一期《云端的威胁检测》和《开源威胁情报的自动整理》”的2个回复

发表评论

电子邮件地址不会被公开。 必填项已用*标注