当前位置: 首页 > 网络应用技术

AI新手语音介绍:知道错误和词语单词cer cer

时间:2023-03-08 18:19:17 网络应用技术

  摘要:本文介绍了单词错误和单词错误cer的概念,并介绍了编辑距离的概念和计算方法,以得出获得单词错误或单词错误率的计算方法。

  单词错误率(WER)是评估ASR性能的重要指标。它用于评估预测文本和标准文本之间的错误率。研究人员经常使用WER来测量英语,阿拉伯语音传输文本或语音识别任务中的ASR效应。

  因为英语陈述中最小的单元是单词,而中文陈述中最小的单元是中文字符,因此请使用错误率(CER)来衡量中文语音传输文本任务或中文语音识别中的中文ASR效应任务。好还是坏。

  两者的计算方法是相同的。对于统一文本,以下内容使用WER来表示性能。

  他们的计算公式是:

  假设有一个参考示例句子ref和一个在翻译ASR系统的声音后生成的预测性文本。上面的公式中的BRING,S表示当催眠转换为Ref时发生的替换数。d表示当催眠转换为参考文字或英语单词时的替换数。+ c。

  假设一个单词,根据Wikipedia中的说法,n是原始文本的总数。

  示例1:

  标准文本是“您吃了它了”,而音译结果是“您吃了”吗?上一个示例中是否替换了错误?催眠更换了“?” 0。参考文本号n = 4,因此此传输的结果为= 1/4 = 25%。

  示例2:

  预测的文本是“您吃的”,与标准文本错误相比,它被一个“”删除,即s = 0,d = 1,i = 0,n = 4,因此此音译结果为= 1/4 = 25%。

  示例3:

  在示例3中,将炒作文本插入一个“ ah”,即s = 0,d = 0,i = 1,n = 6,因此错误率为= 1/6 = 16.7%。

  在参考文本的情况下,可以轻松计数n,并计算编辑S+i+ds+i+_d_的计算,计算了编辑距离的计算。

  前苏联数学家弗拉基米尔·莱温斯坦(Vladimir Lewinstein)在1965年提出的距离,并描述了通过计算两个字符串的最小编辑所需的两个字符串之间的差异。目前,它被广泛用于单词错误计算,DNA序列比较和拼写检测的领域。

  编辑器之间的距离等效于S+D+IS+D+I上述。

  编辑距离的公式是:

  其中,w_w_是指示函数。当ai≠bj时,值为1;当AI = AJ时,值为0。

  作为新手,直接查看此公式可能是未知的。但是,如果您可以使用矩阵来表示此公式并自己在纸上推导它,那么当您回顾这个公式时,它将相对容易理解您可以参考2.2示例。

  假设我们有两个单词,马匹和ros,我们需要计算它们的编辑距离。我们假设马是参考示例句子,而ROS是预测性文本催眠。现在,计算ROS转换为马匹所需的最小操作数量,即两者之间的编辑距离。

  请参阅左代码问题#71

  我们首先定义一个距离矩阵和命名高速缓存。矩阵线的数量是ROS字符长度+1,并且矩阵的列数为马字符长度+1,因此缓存是4??6的矩阵。行的数量是行数。在以下内容中使用,并在J中使用列的数量。

  矩阵看起来像这样:

  额外的行和一列给出null。矩阵中的east元素将节省字符转换到当前位置之前所需的操作数量。例如,cache [2] [3]表示RO已转换为最小值HOR所需的操作数量。

  如果您可以在右下角获得矩阵元素的值,则可以在ROS和马之间获得彼此所需的编辑数量。

  因为我们可以轻松地计算将null或null转换为任何字符所需的操作数量。例如,转换为null的操作数为0,即缓存[0] [0] = 0;null转换为H到H的操作数为1,即缓存[0] [1] = 1,并且转换为HO的操作数为2,也就是说,cache [0] [2] = 2.2.null's转换为HOR,HOSS和HORSE的操作分别为3、4和5。

  因此,可以获得距离矩阵:

  同时,您可以找到一个模式,当i = 0时,缓存[i] [j] = j,

  以同样的方式,在R,RO和ROS中转换为null的操作数分别为1、2和3,即删除1、2和3个字符。

  获取以下距离矩阵:

  还发现当j = 0时,缓存[i] [j] = i。

  计算距离矩阵的其余部分,我们首先定义两个矩阵规则,

  r

  当eqcr= _c_时,右下角的矩阵值是周围三个值的最小值+1:

  当r = cr = _c_时,右下角的矩阵值是左上角的对角线矩阵的值。

  对于未填充的左上角的第一个元素,需要将r转换为H。根据上面的第一种情况,周围三个值的最小值为+1,即0 +1 = 1,,因此距离矩阵如下所示:

  根据上述两个规则,我们可以填充距离矩阵:

  右下角的值是ROS转换为马的最低编辑器,即ROS和Horse的编辑距离为3。

  目前,我们可以用公式语言描述上述两个规则:

  r

  当eqcr= _c_时,右下角的矩阵值是周围三个值的最小值+1:

  当r = cr = _c_时,右下角的矩阵值是左上角的对角线矩阵的值:

  现在,我们可以再次结合上述计算过程:

  并不难发现该公式要来到Winstan公式,它也是通过动态计划方法进行编辑距离的状态方程。

  使用Python代码实现:

  如果以上字符被汉字或单词替换,然后计算两个句子的S+D+为+d+_i_的值,则很容易计算出来。

  本文分享了华为云社区的诚意,作者:黄色辣鸡肉。