数据是企业和组织不可或缺的一部分，只有在适当的结构化和高效管理的情况下才具有价值。

根据统计，95% of businesses今天发现管理和结构化非结构化数据是一个问题。

这就是data mining的作用所在。它是从大量非结构化数据中发现、分析和提取有意义的模式和有价值信息的过程。

公司使用软件在大数据批次中识别模式，了解其客户和目标受众，并制定业务和营销策略，以提高销售额并降低成本。

除了这个好处外，欺诈和异常检测是数据挖掘最重要的应用之一。

本文将解释异常检测，并进一步探讨如何防止data breaches和网络入侵，以确保数据安全。

什么是异常检测及其类型？

数据挖掘涉及查找相互关联的模式、相关性和趋势，是发现网络中的异常或异常数据点的一种很好的方法。

在数据挖掘中，异常数据点是与数据集中的其他数据点不同，并且偏离了数据集的正常行为模式。

异常可以被分类为不同的类型和类别，包括：

• 事件变化：指先前正常行为的突然或系统性变化。
• 离群值：在数据收集中以非系统方式出现的小的异常模式。这些可以进一步分类为全局异常、上下文异常和集体异常。
• 漂移：数据集中发生的渐进、单向和长期的变化。

因此，异常检测是一种对于检测欺诈交易、处理高类别不平衡案例以及疾病检测以构建强大数据科学模型非常有用的数据处理技术。

例如，一家公司可能希望分析其现金流，以查找到未知银行账户的异常或重复交易，以便检测欺诈并进行进一步调查。

异常检测的好处

用户行为异常检测有助于加强安全系统，并使其更加精确和准确。

它分析并理解安全系统提供的各种信息，以识别网络中的威胁和潜在风险。

以下是公司使用异常检测的好处：

• 实时检测网络安全威胁和数据泄露，因为其人工智能（AI）算法不断扫描您的数据以查找异常行为。
• 它使跟踪异常活动和模式比手动异常检测更快、更容易，从而减少了解决威胁所需的工作量和时间。
• 通过在发生之前识别操作错误（例如突然性能下降），降低了运营风险。
• 通过快速检测异常行为，它有助于消除主要业务损失，因为没有异常检测系统，公司可能需要数周甚至数月才能识别潜在威胁。

因此，异常检测对于存储大量客户和业务数据集的企业来说是一项重要资产，可找到增长机会并消除安全威胁和运营瓶颈。

异常检测技术

异常检测使用多种程序和machine learning (ML) algorithms来监控数据并检测威胁。

以下是主要的异常检测技术：

#1. 机器学习技术

机器学习技术使用机器学习算法分析数据并检测异常。用于异常检测的不同类型的机器学习算法包括：

• 聚类算法
• 分类算法
• Deep learning算法

常用的用于异常检测和威胁检测的机器学习技术包括support vector machines（支持向量机）、k均值聚类和自编码器。

#2. 统计技术

统计技术使用统计模型来检测数据中的异常模式（例如特定机器性能的异常波动），以便检测超出预期值范围的值。

常见的统计异常检测技术包括假设检验、四分位数范围（IQR）、Z分数、修改后的Z分数、密度估计、箱线图、极端值分析和直方图。

#3. 数据挖掘技术

数据挖掘技术使用链接_7和聚类技术来在数据集中找到异常值。一些常见的数据挖掘异常技术包括谱聚类、基于密度的聚类和主成分分析。

聚类数据挖掘算法用于基于相似性将不同数据点分组成簇，以便找到落在这些簇之外的数据点和异常值。

另一方面，分类算法将数据点分配给特定的预定义类别，并检测不属于这些类别的数据点。

#4. 基于规则的技术

顾名思义，基于规则的异常检测技术使用一组预先确定的规则来找到数据中的异常。

这些技术相对较容易设置和简单，但可能不够灵活，并且可能无法有效地适应变化的数据行为和模式。

例如，您可以轻松地编写一个基于规则的系统，将超过特定金额的交易标记为欺诈。

#5. 领域特定技术

您可以使用领域特定技术来检测特定数据系统中的异常。然而，尽管它们在特定领域中检测异常非常高效，但在指定的领域之外，它们可能效率较低。

例如，使用领域特定技术，您可以设计专门用于发现金融交易中的异常的技术。但是，它们可能无法用于发现机器中的异常或性能下降。

机器学习在异常检测中的必要性

机器学习在异常检测中非常重要且非常有用。

如今，大多数需要离群值检测的公司和组织处理大量的数据，包括文本、客户信息、交易记录以及图像和视频内容等媒体文件。

手动处理每秒生成的所有银行交易和数据以获取有意义的见解几乎是不可能的。此外，大多数公司在对非结构化数据进行结构化和有意义的数据分析方面面临挑战和困难。

这就是机器学习（ML）等工具和技术在收集、清理、结构化、整理、分析和存储大量非结构化数据方面发挥巨大作用的地方。

机器学习技术和算法处理大数据集，并提供使用和组合不同技术和算法的灵活性以提供最佳结果。

此外，机器学习还有助于简化实际应用中的异常检测流程，并节省宝贵的资源。

以下是机器学习在异常检测中的一些更多好处和重要性：

• 通过自动化地识别模式和异常，而无需显式编程，使扩展异常检测更容易。
• 机器学习算法对变化的数据集模式非常适应，使其在时间上高效和稳健。
• 轻松处理大型和复杂的数据集，使异常检测在数据集复杂性下也非常高效。
• 通过在异常发生时识别异常来确保早期异常识别和检测，从而节省时间和资源。
• 与传统方法相比，基于机器学习的异常检测系统可以实现更高水平的准确性。

因此，异常检测与机器学习相结合可以更快速、更早地检测异常，以防止安全威胁和恶意入侵。

用于异常检测的机器学习算法

您可以通过不同的数据挖掘算法（如分类、聚类或关联规则学习）来检测数据中的异常值和离群值。

通常，这些数据挖掘算法被分为两个不同的类别——监督学习和无监督学习算法。

监督学习

监督学习是一种常见的学习算法类型，包括支持向量机、逻辑和线性回归以及多类分类等算法。这种算法类型是在标记的数据上进行训练的，意味着其训练数据集包括正常输入数据和相应的正确输出或异常示例，以构建预测模型。

因此，它的目标是基于训练数据集的模式对未见过的新数据进行输出预测。监督学习算法的应用包括图像和语音识别、预测建模和自然语言处理（NLP）。

无监督学习

无监督学习不需要任何标记的数据进行训练。相反，它发现复杂的过程和潜在的数据结构，而不提供训练算法的指导，并且不进行特定的预测。

无监督学习算法的应用包括异常检测、密度估计和数据压缩。

现在，让我们来探索一些流行的基于机器学习的异常检测算法。

局部异常因子（LOF）

局部异常因子或LOF是一种异常检测算法，它考虑了局部数据密度来确定数据点是否是异常。

它将一个项的局部密度与其邻居的局部密度进行比较，分析具有类似密度的区域和相对于其邻居具有较低密度的项——这些项就是异常值或离群值。

因此，简单来说，离群值或异常项周围的密度与其邻居的密度不同。因此，这个算法也被称为基于密度的离群值检测算法。

K最近邻（K-NN）

K-NN是最简单的分类和监督异常检测算法，易于实现，存储所有可用的示例和数据，并根据距离度量中的相似性对新示例进行分类。

这种分类算法也被称为惰性学习者，因为它仅存储带标签的训练数据，在训练过程中不做任何其他操作。

当新的未标记的训练数据点到达时，算法会查看K个最近的训练数据点，使用它们对新的未标记数据点进行分类和确定其类别。

K-NN算法使用以下检测方法来确定最接近的数据点：

• 欧几里德距离用于测量连续数据的距离。
• 汉明距离用于测量离散数据的两个文本字符串的接近程度。

例如，假设你的训练数据集包含两个类标签A和B。如果有一个新的数据点到达，算法将计算新数据点与数据集中每个数据点之间的距离，并选择离新数据点最近的数据点中的最大数量的点。

因此，假设K=3，其中有2个数据点标记为A，那么新数据点将被标记为类A。

因此，K-NN算法在需要频繁更新数据的动态环境中效果最好。

它是一种流行的异常检测和文本挖掘算法，在金融和企业中应用于检测欺诈交易并提高欺诈检测率。

支持向量机（SVM）

支持向量机是一种基于监督机器学习的异常检测算法，主要用于回归和分类问题。

它使用一个多维超平面将数据分隔成两组（新数据和正常数据）。因此，超平面充当了将正常数据观察和新数据分开的决策边界。

这两个数据点之间的距离被称为边距。

由于目标是增加两个数据点之间的距离，SVM确定具有最大边距的最佳或最优超平面，以确保两个类之间的距离尽可能大。

关于异常检测，SVM计算新数据点观察值与超平面之间的边距来对其进行分类。

如果边距超过设定的阈值，它将把新观察结果分类为异常。同时，如果边距小于阈值，则将观察结果分类为正常。

因此，SVM算法在处理高维和复杂数据集方面非常高效。

孤立森林

孤立森林是一种基于随机森林分类器的无监督机器学习异常检测算法。

该算法在数据集中基于随机属性以树状结构处理随机子样本数据。它构建了多个决策树来隔离观察结果。如果观察结果在较少的树中被隔离，根据其污染率，它被视为异常。

因此，简单来说，孤立森林算法将数据点分割成不同的决策树，确保每个观察结果都与其他观察结果隔离开来。

异常通常位于数据点聚类之外，相对于正常数据点来说更容易识别这些异常。

孤立森林算法可以轻松处理分类和数值数据。因此，它们训练速度更快，高效地检测高维和大型数据集中的异常。

四分位数范围

四分位数范围或IQR用于通过将数据集分为四分位数来测量统计变异性或统计离散性，以找到数据集中的异常点。

该算法按升序对数据进行排序，并将数据集分成四个相等部分。将这些部分分开的值称为Q1、Q2和Q3，即第一、第二和第三四分位数。

以下是这些四分位数的百分位分布：

• Q1表示数据的第25个百分位数。
• Q2表示数据的第50个百分位数。
• Q3表示数据的第75个百分位数。

IQR是第三个（第75个）和第一个（第25个）百分位数据集之间的差异，代表了数据的50%。

使用IQR进行异常检测需要计算数据集的IQR，并定义数据的下限和上限以找到异常值。

• 下限：Q1 – 1.5 * IQR
• 上限：Q3 + 1.5 * IQR

通常，超出这些范围的观测值被认为是异常值。

IQR算法对于数据分布不均匀且分布不明确的数据集非常有效。

最后的话

网络安全风险和数据泄露在未来几年似乎无法遏制，而这个风险行业预计将在2023年进一步增长，而仅物联网的网络攻击就预计会。

此外，网络犯罪将给全球公司和组织带来约。

这就是为什么现在对于欺诈检测和预防网络入侵来说，异常检测技术的需求越来越普遍和必要。

本文将帮助您了解数据挖掘中的异常值是什么，不同类型的异常值以及使用基于机器学习的异常检测技术来防止网络入侵的方法。

接下来，您可以了解有关confusion matrix in machine learning的所有内容。