异常检测可以作为异常值分析的统计任务来处理。但是如果我们开发一个机器学习模型，它可以像往常一样自动化，节省很多时间。异常检测有很多用例。信用卡欺诈检测、基于异常特征的故障机器检测或硬件系统检测、基于病历的疾病检测都是很好的例子。还有更多的用例。异常检测的应用只会增加。在本文中，我将解释在Python中从头开始开发异常检测算法的过程。与我之前解释过的其他机器学习算法相比，公式和过程要简单得多。该算法将使用均值和方差来计算每个训练数据的概率。如果训练实例具有高概率，这是正常的。如果某个训练实例的概率很低，则它是一个异常示例。对于不同的训练集，高概率和低概率的定义是不同的。我们稍后再讨论。如果我要解释异常检测的工作原理，那会很简单。1.使用以下公式计算均值：其中m是数据集的长度或训练数据的数量，$x^i$是单个训练示例。如果你有多个训练特征，在大多数情况下你需要计算每个特征能量的平均值。2.使用以下公式计算方差：这里，mu是上一步计算的平均值。3.现在，使用这个概率公式计算每个训练样例的概率。不要被这个公式中的求和符号搞糊涂了！这实际上是方差西格玛。稍后当我们实现该算法时，您会看到它的样子。4.我们现在需要找到概率的临界值。正如我之前提到的，如果一个训练样本的概率很低，那么它就是异常值。概率有多低？对此没有普遍限制。我们需要为我们的训练数据集找出这一点。我们从第3步得到的输出得到一系列的概率值。对于每一个概率，通过设置阈值得到数据是否异常，然后计算一系列概率的precision、recall和f1score。Precision可以用下面的公式来计算：Recall是这样计算的：这里，Truepositives指的是算法检测到异常的例子的数量，也就是异常。误报当算法检测到异常示例时会出现误报，但实际上它并不异常。FalseNegative是指算法检测到的一个例子不是异常的，但实际上是一个异常的例子。从上面的公式可以看出，更高的准确率和更高的召回率总是好的，因为这意味着我们有更多的真实正例。但与此同时，假阳性和假阴性起着至关重要的作用，正如您在公式中看到的那样。这需要一个平衡。根据您的行业，您需要确定您可以接受的行业。一个好的方法是取平均值。计算平均值有一个独特的公式。这是f1分数。f1score公式为：这里，P和R分别代表precision和recall。根据f1分数，您需要选择阈值概率。异常检测算法我将使用AndrewNg的机器学习课程中的数据集，它具有两个训练特征。我在这篇文章中没有使用真实的数据集，因为这个数据集非常适合学习。它只有两个特点。在任何真实的数据集中，不可能只有两个特征。首先，导入必要的包importpandasaspdimportnumpyasnp来导入数据集。这是一个excel数据集。在这里，训练数据和交叉验证数据存储在不同的表中。所以，让我们带来训练数据。df=pd.read_excel('ex8data1.xlsx',sheet_name='X',header=None)df.head()让我们比较第0列和第1列。plt.figure()plt.scatter(df[0],df[1])plt.show()看这张图就知道哪些数据异常了。检查此数据集中有多少训练示例：m=len(df)计算每个特征的平均值。这里我们只有两个特征：0和1。s=np.sum(df,axis=0)mu=s/mmu输出：014.112226114.997711dtype:float64根据上面“公式和过程”部分描述的公式，让我们计算方差：vr=np.sum((df-mu)**2,axis=0)variance=vr/mvariance输出：01.83263111.709745dtype:float64现在让它成为对角线形状。正如我在概率公式后面的“公式和过程”部分中解释的那样，求和符号实际上是方差var_dia=np.diag(variance)var_diaoutput:array([[1.83263141,0.],[0.,1.70974533]])计算概率：k=len(mu)X=df-mup=1/((2*np.pi)**(k/2)*(np.linalg.det(var_dia)**0.5))*np.exp(-0.5*np.sum(X@np.linalg.pinv(var_dia)*X,axis=1))p训练部分已经完成。下一步是找到阈值概率。如果概率低于阈值概率，则样本数据异常。但是我们需要为我们的特殊情况找出那个阈值。对于这一步，我们使用交叉验证数据和标签。对于您的情况，您只需要保留一部分原始数据以进行交叉验证。现在导入交叉验证数据和标签：cvx=pd.read_excel('ex8data1.xlsx',sheet_name='Xval',header=None)cvx.head()标签如下：cvy=pd.read_excel('ex8data1.xlsx',sheet_name='y',header=None)cvy.head()我要将'cvy'转换为NumPy数组，因为我喜欢使用数组。但是，数据框也不错。y=np.array(cvy)output:#部分数组array([[0],[0],[0],[0],[0],[0],[0],[0],[0],在这里，y值为0表示这是一个正常的例子，y值为1表示这是一个异常的例子。现在，我该如何选择一个阈值？我不想只检查所有的概率概率表。这可能是不必要的。让我们再次检查概率值。p.describe()输出：count3.070000e+02mean5.905331e-02std2.324461e-02min1.181209e-2325%4.361075e-0250%6.510144e-0275%7.849532e-02max8.986095e-02dtype:float64如图所示，我们没有太多异常值数据。所以，如果我们从75%的值开始，应该没问题。但为了安全起见,我将从平均值开始。因此，我们将从均值和较低的概率范围开始。我们将检查此范围内每个概率的f1分数。首先，定义一个函数来统计真阳性、假阳性和假阴性：deftpfpfn(ep):tp,fp,fn=0,0,0foriinrange(len(y)):ifp[i]<=epandy[i][0]==1:tp+=1elifp[i]<=epandy[i][0]==0:fp+=1elifp[i]>epandy[i][0]==1:fn+=1returntp,fp,fn列出低于或等于平均概率的概率。eps=[iforiinpifi<=p.mean()]检查列表的长度len(eps)output:133根据前面讨论的公式定义一个函数来计算f1分数：deff1(ep):tp,fp,fn=tpfpfn(ep)prec=tp/(tp+fp)rec=tp/(tp+fn)f1=2*prec*rec/(prec+rec)returnf1所有函数都准备好了！现在计算所有epsilon的f1-score或我们之前选择的概率值范围。f=[]foriineps:f.append(f1(i))f输出：[0.14285714285714285,0.14035087719298248,0.1927710843373494,0.1568627450980392,0.208955223880597,0.41379310344827586,0.15517241379310345,0.28571428571428575,0.19444444444444445,0.5217391304347826,0.19718309859154928,0.19753086419753085,0.29268292682926833,0.14545454545454545,这是f成绩单的一部分。长度应为133。f分数通常介于0到1之间，f1分数越高越好。因此，我们需要从我们刚刚计算的f分数列表中获取f的最高分数。现在，使用“argmax”函数来确定f-score最大值的索引。np.array(f).argmax()output:131现在使用这个索引来获得阈值概率。e=eps[131]e输出：6.107184445968581e-05我们有找到异常实例的临界概率。从这里我们可以找出训练数据的标签。如果概率值小于或等于阈值，则数据异常，否则正常。我们将正常数据和异常数据分别表示为0和1，label=[]foriinrange(len(df)):ifp[i]<=e:label.append(1)else:label.append(0)label输出：[0,0,0,0,0,0,0,0,0,0，这是标签列表的一部分。我会将这个计算出的标签添加到上面的训练数据集中：df['label']=np.array(label)df.head()我用红色绘制数据，其中标签为1，标签为0为黑色画。以下是结果。合理？是的，对吧？红色数据明显异常。结论我试图逐步解释开发异常检测算法的过程，我希望它是可以理解的。如果你光看不懂，建议你把每段代码都跑一遍。这很清楚。
