使用概率的异常检测算法异常检测可以视为异常值分析的统计任务。但是如果我们开发一个机器学习模型，它可以自动化并且像往常一样节省很多时间。有许多异常检测用例。信用卡欺诈检测、故障机器检测或基于其异常功能的硬件系统检测、基于病历的疾病检测都是很好的例子。还有更多的用例。并且异常检测的使用只会增加。在这篇文章中，我将解释从头开始用Python开发异常检测算法的过程。与我之前解释过的其他机器学习算法相比，公式和过程会简单得多。该算法将使用均值和方差来计算每个训练数据的概率。如果一个训练样例有很高的概率是正常的。如果一个训练样例的概率很低，那么它就是一个异常样例。对于不同的训练集，高概率和低概率的定义会有所不同。稍后我们将讨论如何确定它。如果我必须解释异常检测的工作原理，那很简单。(1)使用以下公式计算均值：这里m是数据集的长度或训练数据的数量，xi是训练示例。如果你有多个训练特征，那么大多数时候你需要计算每个特征的平均值。(2)使用以下公式计算方差：这里，mu是从上一步计算的平均值。(3)现在，使用这个概率公式计算每个训练样例的概率。不要被这个公式中的加号弄糊涂了！它实际上是对角线形状的变化。稍后当我们实现该算法时，您会看到它的样子。(4)我们现在需要找到概率的阈值。正如我之前提到的，如果一个训练示例的概率很低，那么它就是一个离群值示例。什么是低概率？没有普遍的限制。我们需要为我们的训练数据集找到答案。我们从第3步得到的输出中得到一个概率值序列。对于每个概率，找到数据是异常还是正常的标签。然后计算一系列概率的精度、召回率和f1分数。Precision可以使用以下公式计算Recall可以通过以下公式计算：这里，“positivepositives”是算法将示例检测为异常并且实际上是异常的情况的数量。当算法将示例检测为异常但事实并非如此时，就会出现误报。FalseNegative是指算法检测到的例子不是异常例子，但实际上是异常例子。从上面的公式可以看出，更高的准确率和更高的召回率总是好的，因为这意味着我们有更多积极的优势。但与此同时，正如您在公式中看到的那样，误报和漏报也起着至关重要的作用。那里需要有一个平衡。根据您所在的行业，您需要决定您可以容忍哪个行业。一个好的方法是取平均值。有一个独特的平均公式。这是f1分数。f1分数的公式为：这里，P和R分别是精度和召回率。我不会详细说明为什么这个公式如此独特。因为这篇文章是关于异常检测的。如果您有兴趣了解更多关于精度、召回率和f1-score的信息，请在此处查看有关该主题的详细文章：充分了解精度、召回率和F-score概念如何处理机器学习中的偏斜数据集基于f1分数，您需要选择一个阈值概率。1是完美的f分数，0是最差的概率分数。异常检测算法我将使用来自AndrewNg的机器学习课程的数据集，它有两个训练特征。这篇文章我没有使用真实的数据集，因为这个数据集非常适合学习。它只有两个功能。在任何真实世界的数据集中，不可能只有两个特征。让我们开始吧！首先，导入必要的包importpandasaspdimportnumpyasnpimportdataset。这是一个excel数据集。在这里，训练数据和交叉验证数据存储在不同的表中。因此，让我们引入训练数据。df=pd.read_excel('ex8data1.xlsx',sheet_name='X',header=None)df.head()让我们根据第1列绘制第0列。plt.figure()plt.scatter(df[0],df[1])plt.show()看这张图就知道哪些数据异常了。检查此数据集中有多少训练示例：m=len(df)计算每个特征的平均值。这里我们只有两个特征：0和1。s=np.sum(df,axis=0)mu=s/mmu输出：014.112226114.997711dtype:float64根据上面“公式和过程”部分描述的公式，计算方差：vr=np.sum((df-mu)**2,axis=0)variance=vr/mvariance输出：01.83263111.709745dtype:float64现在使它成为对角线形状。正如我在概率公式后面的“公式和过程”部分中解释的那样，求和符号实际上是方差的对角线。var_dia=np.diag(variance)var_dia输出：array([[1.83263141,0.],[0.,1.70974533]])计算概率：k=len(mu)X=df-mup=1/((2*np.pi)**(k/2)*(np.linalg.det(var_dia)**0.5))*np.exp(-0.5*np.sum(X@np.linalg.pinv(var_dia)*X,axis=1))p训练部分完成。下一步是找到阈值概率。如果概率低于阈值概率，则样本数据异常。但是我们需要为我们的特殊情况找出那个阈值。在此步骤中，我们使用交叉验证数据和标签。在这个数据集中，我们有交叉验证数据以及单独工作表中的标签。在您的情况下，您只需要保留一部分原始数据以进行交叉验证。现在导入交叉验证数据和标签：cvx=pd.read_excel('ex8data1.xlsx',sheet_name='Xval',header=None)cvx.head()标签为：cvy=pd.read_excel('ex8data1.xlsx',sheet_name='y',header=None)cvy.head()我将“cvy”转换为NumPy数组只是因为我喜欢使用数组。数据框也不错。y=np.array(cvy)输出：#Partofthearrayarray([[0],[0],[0],[0],[0],[0],[0],[0],[0],在这里，“y”的值为0表示它是一个正常示例，y值为1表示它是一个异常示例。现在，我该如何选择阈值？我不想只检查列表中的所有概率的概率。这可能是不必要的。让我们再次检查概率值。p.describe()输出：count3.070000e+02mean5.905331e-02std2.324461e-02min1.181209e-2325%4.361075e-0250%6.510144e-0275%7.849532e-02max8.986095e-02dtype:float64正如你在图片中看到的，我们没有太多异常数据。所以如果我们只是从75%的值开始，应该没问题。但为了安全起见,我将从平均开始。因此，我们将采用从平均值到较低范围的概率范围。我们将检查该范围内每个概率的f1分数。首先，定义一个函数来计算真阳性、假阳性和假阴性：deftpfpfn(ep):tp,fp,fn=0,0,0foriinrange(len(y)):ifp[i]<=epandy[i][0]==1:tp+=1elifp[i]<=epandy[i][0]==0:fp+=1elifp[i]>epandy[i][0]==1:fn+=1returntp,fp,fn列出小于或等于平均概率的概率。eps=[iforiinpifi<=p.mean()]检查list的长度，len(eps)output:133根据我们前面讨论的公式，定义一个计算f1score的函数：deff1(ep):tp,fp,fn=tpfpfn(ep)prec=tp/(tp+fp)rec=tp/(tp+fn)f1=2*prec*rec/(prec+rec)returnf1所有函数都准备好了！现在计算所有ε或我们之前选择的概率值范围的f1得分。f=[]foriineps:f.append(f1(i))f输出：[0.14285714285714285,0.14035087719298248,0.1927710843373494,0.1568627450980392,0.208955223880597,0.41379310344827586,0.15517241379310345,0.28571428571428575,0.19444444444444445,0.5217391304347826,0.19718309859154928,0.19753086419753085,0.29268292682926833,0.14545454545454545,这是f得分表的一部分。长度应为133。f分数通常介于0和1之间，1是完美的f分数。f1分数越高越好。因此，我们需要从我们刚刚计算的“f”分数列表中获得最高的f分数。现在，使用“argmax”函数来确定最大f-score值的索引。np.array(f).argmax()输出：131现在使用该索引获取阈值概率。e=eps[131]eoutput:6.107184445968581e-05找到我们有阈值概率的异常例子。由此我们可以找出训练数据的标签。如果概率值小于或等于阈值，则数据异常，否则正常。我们将正常数据和异常数据分别表示为0和1，label=[]foriinrange(len(df)):ifp[i]<=e:label.append(1)else:label.append(0)label输出：[0,0,0,0,0,0,0,0,0,0，这是标签列表的一部分。我会将这个计算出的标签添加到上面的训练数据集中：df['label']=np.array(label)df.head()我绘制了数据，红色标签为1，黑色标签为0。这是情节。是否有意义？可以？红色的数据显然是异常的。结论我试图逐步解释开发异常检测算法的过程。我没有在这里隐藏任何步骤。我希望这是可以理解的。如果仅通过阅读难以理解，我建议您自己在笔记本上运行每段代码。这将使它非常清楚。
