Awesome Machine Learning for Cyber Security：精英级机器学习与安全资源精选列表，涵盖： • 网络安全数据集 • 基于机器学习的恶意软件检测 • 网络入侵检测 • 利用AI进行威胁狩猎 • 钓鱼检测 • 恶意URL分类 • DDoS检测 • 对抗性机器学习 • 日志分析与异常检测 • 威胁情报自动化 • 机器学习研究论文 • 安全相关书籍 • 会议演讲 • 动手教程 • 实用课程

包括： 20+ 安全数据集 50+ 研究论文 书籍与课程 真实世界用例 开源项目 威胁检测资源

https://github.com/jivoi/awesome-ml-for-cybersecurity…

完美适用于安全工程师、威胁猎人、SOC分析师、恶意软件研究员、数据科学家以及任何探索AI与网络安全交叉领域的人士。

#网络安全 #机器学习 #人工智能 #威胁情报 #SOC #威胁狩猎 #恶意软件分析 #数据科学 #信息安全

jivoi/awesome-ml-for-cybersecurity

来源：https://github.com/jivoi/awesome-ml-for-cybersecurity

Awesome Machine Learning for Cyber Security

令人惊叹的（https://github.com/sindresorhus/awesome）

精心整理的一份令人惊叹的工具和资源列表，涉及机器学习在网络安全方面的应用。

目录

• 数据集
• 论文
• 书籍
• 演讲
• 教程
• 课程
• 杂项

↑ 贡献

如果你想添加工具或资源，请阅读贡献指南。

↑ 数据集

• HIKARI-2021 数据集 (https://zenodo.org/record/5199540)
• 安全相关数据样本 (http://www.secrepo.com/)
• DARPA 入侵检测数据集 (https://www.ll.mit.edu/r-d/datasets) [1998 (https://www.ll.mit.edu/r-d/datasets/1998-darpa-intrusion-detection-evaluation-dataset) / 1999 (https://www.ll.mit.edu/r-d/datasets/1999-darpa-intrusion-detection-evaluation-dataset)]
• Stratosphere IPS 数据集 (https://stratosphereips.org/category/dataset.html)
• 开放数据集 (http://csr.lanl.gov/data/)
• 来自国家安全局的数据捕获 (http://www.westpoint.edu/crc/SitePages/DataSets.aspx)
• ADFA 入侵检测数据集 (https://www.unsw.adfa.edu.au/australian-centre-for-cyber-security/cybersecurity/ADFA-IDS-Datasets/)
• NSL-KDD 数据集 (https://github.com/defcom17/NSL_KDD)
• 恶意URL数据集 (http://sysnet.ucsd.edu/projects/url/)
• 多源网络安全事件 (http://csr.lanl.gov/data/cyber1/)
• KDD Cup 1999 数据 (http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html)
• Web攻击负载 (https://github.com/foospidy/payloads)
• WAF恶意查询数据集 (https://github.com/faizann24/Fwaf-Machine-Learning-driven-Web-Application-Firewall)
• 恶意软件训练数据集 (https://github.com/marcoramilli/MalwareTrainingSets)
• Aktaion 数据集 (https://github.com/jzadeh/Aktaion/tree/master/data)
• DeepEnd Research 的 CRIME 数据库 (https://www.dropbox.com/sh/7fo4efxhpenexqp/AADHnRKtL6qdzCdRlPmJpS8Aa/CRIME?dl=0)
• 公开可用的 PCAP 文件 (http://www.netresec.com/?page=PcapFiles)
• 2007 TREC 公开垃圾邮件语料库 (https://plg.uwaterloo.ca/~gvcormac/treccorpus07/)
• Drebin Android恶意软件数据集 (https://www.sec.cs.tu-bs.de/~danarp/drebin/)
• PhishingCorpus 数据集 (https://monkey.org/~jose/phishing/)
• EMBER (https://github.com/endgameinc/ember)
• Vizsec 研究 (https://vizsec.org/data/)
• SHERLOCK (http://bigdata.ise.bgu.ac.il/sherlock/index.html#/)
• 探测/端口扫描 - 数据集 (https://github.com/gubertoli/ProbingDataset)
• 爱琴海无线入侵数据集 (AWID) (http://icsdweb.aegean.gr/awid/)
• BODMAS PE恶意软件数据集 (https://whyisyoung.github.io/BODMAS/)

↑ 论文

• 基于真实和加密合成攻击流量生成网络入侵检测数据集 (https://www.mdpi.com/2076-3417/11/17/7868/htm)
• 快速、精简且准确：使用神经网络对密码可猜测性进行建模 (https://www.usenix.org/conference/usenixsecurity16/technical-sessions/presentation/melicher)
• 走出封闭世界：论使用机器学习进行网络入侵检测 (http://ieeexplore.ieee.org/document/5504793/?reload=true)
• 基于异常负载的网络入侵检测 (https://link.springer.com/chapter/10.1007/978-3-540-30143-1_11)
• 利用元数据和结构特征进行恶意PDF检测 (http://dl.acm.org/citation.cfm?id=2420987)
• 对抗性支持向量机学习 (https://dl.acm.org/citation.cfm?id=2339697)
• 利用机器学习绕过垃圾邮件过滤器 (https://dl.acm.org/citation.cfm?id=1387709.1387716)
• CAMP – 内容无关的恶意软件防护 (http://www.covert.io/research-papers/security/CAMP%20-%20Content%20Agnostic%20Malware%20Protection.pdf)
• Notos – 为DNS构建动态信誉系统 (http://www.covert.io/research-papers/security/Notos%20-%20Building%20a%20dynamic%20reputation%20system%20for%20dns.pdf)
• Kopis – 在上层DNS层次结构中检测恶意域名 (http://www.covert.io/research-papers/security/Kopis%20-%20Detecting%20malware%20domains%20at%20the%20upper%20dns%20hierarchy.pdf)
• Pleiades – 从一次性流量到僵尸网络：检测基于DGA的恶意软件的兴起 (http://www.covert.io/research-papers/security/From%20throw-away%20traffic%20to%20bots%20-%20detecting%20the%20rise%20of%20dga-based%20malware.pdf)
• EXPOSURE – 利用被动DNS分析发现恶意域名 (http://www.covert.io/research-papers/security/Exposure%20-%20Finding%20malicious%20domains%20using%20passive%20dns%20analysis.pdf)
• Polonium – 用于恶意软件检测的万亿级图挖掘 (http://www.covert.io/research-papers/security/Polonium%20-%20Tera-Scale%20Graph%20Mining%20for%20Malware%20Detection.pdf)
• Nazca – 在大规模网络中检测恶意软件分发 (http://www.covert.io/research-papers/security/Nazca%20-%20%20Detecting%20Malware%20Distribution%20in%20Large-Scale%20Networks.pdf)
• PAYL – 基于异常负载的网络入侵检测 (http://www.covert.io/research-papers/security/PAYL%20-%20Anomalous%20Payload-based%20Network%20Intrusion%20Detection.pdf)
• Anagram – 一种抵抗模仿攻击的内容异常检测器 (http://www.covert.io/research-papers/security/Anagram%20-%20A%20Content%20Anomaly%20Detector%20Resistant%20to%20Mimicry%20Attack.pdf)
• 机器学习在网络安全中的应用 (https://www.researchgate.net/publication/283083699_Applications_of_Machine_Learning_in_Cyber_Security)
• 用于构建网络攻击检测系统的数据挖掘（俄文）(http://vak.ed.gov.ru/az/server/php/filer.php?table=att_case&fld=autoref&key%5B%5D=100003407)
• 用于企业网络入侵检测系统的数据挖掘技术选择（俄文）(http://engjournal.ru/articles/987/987.pdf)
• 信息安全问题中计算机网络层次表示的神经网络方法（俄文）(http://engjournal.ru/articles/534/534.pdf)
• 智能数据分析方法与入侵检测（俄文）(http://vestnik.sibsutis.ru/uploads/1459329553_3576.pdf)
• 网络攻击检测系统中的维度缩减 (http://elib.bsu.by/bitstream/123456789/120105/1/v17no3p284.pdf)
• 机器的崛起：机器学习及其网络安全应用 (https://www.nccgroup.trust/globalassets/our-research/uk/whitepapers/2017/rise-of-the-machines-preliminaries-wp-new-template-final_web.pdf)
• 网络安全中的机器学习：半人马时代 (https://go.recordedfuture.com/hubfs/white-papers/machine-learning.pdf)
• 自动规避分类器：PDF恶意软件分类器案例研究 (https://www.cs.virginia.edu/~evans/pubs/ndss2016/)
• 数据科学武器化用于社会工程——在Twitter上实现自动化端到端鱼叉式网络钓鱼 (https://www.blackhat.com/docs/us-16/materials/us-16-Seymour-Tully-Weaponizing-Data-Science-For-Social-Engineering-Automated-E2E-Spear-Phishing-On-Twitter.pdf)
• 机器学习：威胁狩猎的现实检查 (https://s3-eu-central-1.amazonaws.com/evermade-fsecure-assets/wp-content/uploads/2019/09/17153425/countercept-whitepaper-machine-learning.pdf)
• 基于神经网络的跨平台二进制代码相似性检测图嵌入 (https://arxiv.org/abs/1708.06525)
• 用于隐私保护机器学习的实用安全聚合 (https://eprint.iacr.org/2017/281.pdf)
• DeepLog：通过深度学习从系统日志进行异常检测和诊断 (https://acmccs.github.io/papers/p1285-duA.pdf)
• eXpose：基于嵌入的字符级卷积神经网络，用于检测恶意URL、文件路径和注册表键 (https://arxiv.org/pdf/1702.08568.pdf)
• 基于事件类型统计的安全事件关联大数据技术（俄文）(http://cyberrus.com/wp-content/uploads/2018/02/2-16-524-17_1.-Kotenko.pdf)
• 使用神经网络检测应用层低强度DDoS攻击的研究（俄文）(http://cyberrus.com/wp-content/uploads/2018/02/23-29-524-17_3.-Tarasov.pdf)
• 使用深度神经网络检测恶意PowerShell命令 (https://arxiv.org/pdf/1804.04177.pdf)
• 面向消费者物联网设备的机器学习DDoS检测 (https://arxiv.org/pdf/1804.04159.pdf)
• 通过系统日志智能分析进行计算机系统异常检测（俄文）(http://cyberrus.com/wp-content/uploads/2018/06/33-43-226-18_4.-Sheluhin.pdf)
• EMBER：用于训练静态PE恶意软件机器学习模型的开放数据集 (https://arxiv.org/pdf/1804.04637.pdf)
• 使用数据挖掘技术的恶意软件检测方法的最新综述 (https://link.springer.com/article/10.1186/s13673-018-0125-x)
• 使用监督学习技术在网络上检测恶意可移植可执行文件的研究 (https://www.researchgate.net/publication/318665164_Investigation_of_malicious_portable_executable_file_detection_on_the_network_using_supervised_learning_techniques)
• 网络安全中的机器学习：指南 (https://resources.sei.cmu.edu/library/asset-view.cfm?assetid=633583)
• 走出封闭世界：论使用机器学习进行网络入侵检测 (https://personal.utdallas.edu/~muratk/courses/dmsec_files/oakland10-ml.pdf)
• 基于机器学习的工业物联网网络漏洞分析 (https://arxiv.org/abs/1911.05771)
• Hopper：建模和检测横向移动 (https://arxiv.org/pdf/2105.13442.pdf1)
• 通过强化学习和自我博弈寻找有效安全策略 (https://arxiv.org/abs/2009.08120)
• 通过最优停止进行入侵预防 (https://arxiv.org/abs/2111.00289)
• 网络风险管理：AI生成的威胁预警（论文）(https://stacks.stanford.edu/file/druid:mw190gm2975/faberSubmission-augmented.pdf)

↑ 书籍

• 网络安全中的数据挖掘与机器学习 (https://www.amazon.com/Data-Mining-Machine-Learning-Cybersecurity/dp/1439839425)
• 计算机安全的机器学习与数据挖掘 (https://www.amazon.com/Machine-Learning-Mining-Computer-Security/dp/184628029X)
• 网络异常检测：机器学习视角 (https://www.amazon.com/Network-Anomaly-Detection-Learning-Perspective/dp/1466582081)
• 机器学习与安全：用数据与算法保护系统 (https://www.amazon.com/Machine-Learning-Security-Protecting-Algorithms/dp/1491979909)
• 面向安全专业人员的AI入门 (https://github.com/cylance/IntroductionToMachineLearningForSecurityPros/blob/master/IntroductionToArtificialIntelligenceForSecurityProfessionals_Cylance.pdf)
• 掌握用于渗透测试的机器学习 (https://www.packtpub.com/networking-and-servers/mastering-machine-learning-penetration-testing)
• 恶意软件数据科学：攻击检测与归因 (https://nostarch.com/malwaredatascience)

↑ 演讲

• 使用机器学习支持信息安全 (https://www.youtube.com/watch?v=tukidI5vuBs)
• 在信息不完全的情况下防御网络 (https://www.youtube.com/watch?v=36IT9VgGr0g)
• 将机器学习应用于网络安全监控 (https://www.youtube.com/watch?v=vy-jpFpm1AU)
• 衡量威胁情报源的IQ (https://www.youtube.com/watch?v=yG6QlHOAWiE)
• 数据驱动的威胁情报：指标传播与共享的度量标准 (https://www.youtube.com/watch?v=6JMEKnes-w0)
• 应用机器学习进行数据外泄及其他有趣话题 (https://www.youtube.com/watch?v=dGwH7m4N8DE)
• 因为数学所以安全：深入探讨基于机器学习的监控 (https://www.youtube.com/watch?v=TYVCVzEJhhQ)
• 机器欺骗101：攻破深度学习系统 (https://www.youtube.com/watch?v=JAGDpJFFM2A)
• Delta Zero, KingPhish3r – 数据科学武器化用于社会工程 (https://www.youtube.com/watch?v=l7U0pDcsKLg)
• 击败机器学习：你的安全供应商没有告诉你的 (https://www.youtube.com/watch?v=oiuS1DyFNd8)
• CrowdSource：用于恶意软件能力检测的众包训练机器学习模型 (https://www.youtube.com/watch?v=u6a7afsD39A)
• 击败机器学习：检测恶意软件的系统性缺陷 (https://www.youtube.com/watch?v=sPtbDUJjhbk)
• 数据包捕获村 – Theodora Titonis – 机器学习如何发现恶意软件 (https://www.youtube.com/watch?v=2cQRSPFSY-s)
• 5分钟构建反病毒软件 – 新鲜机器学习#7。一个有趣的视频 (https://www.youtube.com/watch?v=iLNHVwSu9EA&t=245s)
• 使用机器学习狩猎恶意软件 (https://www.youtube.com/watch?v=zT-4zdtvR30)
• 用于威胁检测的机器学习 (https://www.youtube.com/watch?v=qVwktOa-F34)
• 机器学习与云：颠覆威胁检测与防御 (https://www.youtube.com/watch?v=fRklX97iGIw)
• 使用机器学习和深度学习进行欺诈检测 (https://www.youtube.com/watch?v=gHtN4jU69W0)
• 深度学习在流量识别中的应用 (https://www.youtube.com/watch?v=yZ-Y1WCM0lc)
• 在信息不完全的情况下防御网络：一种机器学习方法 (https://www.youtube.com/watch?v=_0CRSF6yPB4)
• 机器学习与数据科学 (https://vimeo.com/112702666)
• 云端规模机器学习在网络防御中的进展 (https://www.youtube.com/watch?v=skSIIvvZFIk)
• 应用机器学习：击败现代恶意文档 (https://www.youtube.com/watch?v=ZAuCEgA3itI)
• 使用机器学习和GPO自动预防勒索软件 (https://www.rsaconference.com/writable/presentations/file_upload/spo2-t11_automated-prevention-of-ransomware-with-machine-learning-and-gpos.pdf)
• 通过学习安全文献检测恶意软件 (https://www.usenix.org/conference/enigma2017/conference-program/presentation/dumitras)
• Clarence Chio 和 Anto Joseph - 信息安全中的实用机器学习 (https://conference.hitb.org/hitbsecconf2017ams/materials/D1T3%20-%20Clarence%20Chio%20and%20Anto%20Joseph%20-%20Practical%20Machine%20Learning%20in%20Infosecurity.pdf)
• 云端规模机器学习在网络防御中的进展 (https://www.youtube.com/watch?v=6Slj2FV9CLA)
• 基于机器学习的网络入侵检测技术 (https://www.youtube.com/watch?v=-EUJgpiJ8Jo)
• 信息安全中的实用机器学习 (https://www.youtube.com/watch?v=YF2dm6GZf2U)
• AI与安全 (https://www.microsoft.com/en-us/research/wp-content/uploads/2017/07/AI_and_Security_Dawn_Song.pdf)
• 信息安全中的AI (https://vimeo.com/230502013)
• 超越黑名单：通过机器学习检测恶意URL (https://www.youtube.com/watch?v=Kd3svc9HZ0Y)
• 机器学习驱动的网络威胁狩猎 (https://www.youtube.com/watch?v=c-c-IQ5pFXw)
• 武器化机器学习：人性被高估了 (https://www.youtube.com/watch?v=QbX7BhjOOvY)
• 机器学习