自适应聚类在网络边缘的恶意流量分类
2022-03-14 17:41:44 0 举报AI智能生成
Adaptive Clustering-based Malicious Traffic Classification at the Network Edge
作者其他创作
大纲/内容
摘要
背景：随着数字化服务和物联网技术迅速发展，网络攻击越来越多样化
导致：NIDS很难应对
所以：在网络防御中加入了AI，使用ACID方法检测恶意流量
ACID解决了流量特征细微变化引起的敏感度挑战（敏感度会导致错误分类）
通过引入的多核轻量级神经网络模型学习的低维嵌入来规避这个问题，该模型最优地分离了各个样本
结果：使用跨越20年的合成和3个入侵数据集进行评估，得到100%的准确率和F1分数，0%的错误示警率，其性能远高于目前最先进的聚类方法和NIDS
引言
背景：IOT和云服务激增，导致更加需要网络安全；黑客每天持续不断地发现系统、软件漏洞
结果：造成企业和个人重大经济损失，传统网络防御手段：防火墙、反病毒、NIDS跟不上老练的攻击：（通过漏洞绕过检测）
NIDS的3条缺点：它们(I)需要频繁地更新签名数据库；(Ii)在对具有演化行为的流量进行分类时，表现出很高的错误警报率；以及(Iii)需要相当程度的人类专家干预来进行系统调整和人工决策。
讨论基于AI和ML的异常流量检测方法（这样方便建立自动化网络威胁分析检测系统）
基于人工智能的网络入侵检测中现有的方案依然单个特征的微小变化十分敏感（需要为每个任务重新训练）
由此：本文提出了ACID
ACID是一个基于多核的神经网络，具有更好的泛化性
聚类算法：该算法从网络流特征的线性和非线性组合中学习低维嵌入，从而使得明确地分离这些流成为可能。
通过将聚类网络学习到的聚类中心与从数据包序列中提取的统计和语义特征相结合，并将得到的特征向量反馈给分类器，有效地提高了网络入侵检测系统的检测性能，同时最大限度地降低了误报率。
主要贡献
1、引入了一种新的有监督的自适应聚类(AC)技术来学习聚类中心
这些聚类中心可以用来扩展给定数据集的特征
2、该方法中包含低维表示的能力
低维表示可以简化将数据集分成不同的类，并表明我们的算法能够快速地自适应于复杂的、交织的和退化的结构
例如：网络流量
3、基于聚类方法，本文设计了一个NIDS
它从原始数据包中提取一系列特征，用学习到的聚类中心对这些特征进行扩展，并将这些特征反馈给一个选择的分类器，从而实现高可靠性的二进制和多标签分类。
4、方案有效性验证：对包含非法流量的三个不同网络流量数据集进行了ACID评估
这三个数据集包含超过20年的40种攻击类型
F1一直是100%，相比以前的NID方法提高了47%
5、复杂性分析（表明ACID成为在受限边缘设备上部署的快速和轻量级的候选者
计算需求
运行时间
相关工作
简要概述基于DL的NID方法，并强调其缺点
A. 基于DL的入侵检测
大多数基于DL的NIDS具有很高的高误警率。这明显限制了它们在真实场景中的适用性
自动编码器（AE）用于了异常流量检测
以往存在的缺陷
Tan 等人，用cnn学习数据包的空间表示，并用图像识别方法识别恶意流量
Wang等人结合CNN和长短期记忆(LSTM)结构来学习特征之间的空间和时间相关性
Tan和Wang完全忽略了可以从分组中推断的基于时间的统计特征和分组有效载荷内的语义关系。米内特等人。使用这些被忽略的属性并应用自然语言处理技术来处理数据包有效载荷
仍然存在的缺点：包括在处理大数据集时忽略了数据集的不平衡和处理时间非常长。
欠采样和过采样方法可以缓解这一类不平衡问题，但仍有缺陷
B. 基于聚类的入侵检测
理想情况下IDS
1.具有学习和分层特征表示的能力
2.处理高维数据并提取有价值的特征
建立在聚类方法上的IDS
1.建良等人，使用k-均值聚类来检测未知攻击并有效分离大型数据空间
他们的方法受到退化和聚类依赖的影响，这可以用Y-均值聚类算法来克服
2.明强等人，引入基于图的聚类的概念用于异常检测，由此基于局部偏离系数图(LDCGB)的方法识别离群点
3.李 等人，使用基于群智能的粒子群优化(PSO)算法
该方法避免了陷入局部极小，同时提供了良好的全局收敛性。
多阶段技术通过以下方式改进NID
(I)通过群集产生元警报
(Ii)通过对这些元警报进行分类来降低错误警报率
A，B这些方法通常不能区分表面上相似但实质上不同的攻击
问题：由于它们的无监督性质而呈现高误分类率，和/或计算昂贵，使得它们不适合在受限设备上部署
结果：我们通过一种简单而有效的自适应聚类方法克服了这些问题，同时在检测率和最大限度地减少虚警方面提供了显著的改善。
威胁模型
家庭和企业
首先，我们设想攻击者位于目标网络之外，他们试图获取对目标网络的访问权限、危害受害者设备或检索敏感数据。在这种情况下，攻击者将扫描连接到网络的所有设备，以查找允许访问的漏洞。
其次，攻击者要么位于目标网络外部，该目标网络已经被攻破(使他们能够控制被劫持的主机，要么在内部连接到该网络。
防护系统
系统构造
提出了一种新的基于深度学习(DL)的网络入侵检测系统
目标
(I)通过发现网络流的低维嵌入来快速适应复杂的数据结构和模式，从而以最佳方式分离不同类型的样本；
(Ii)可以部署在计算能力有限的设备上，这些是任何NIDS都必须满足的基本特征，才能适用于实际的现实环境。
如何实现
特征提取模块
自适应聚类模块
分类模块
收藏
0 条评论
下一页
为你推荐
查看更多
