当前位置: 首页 > 网络应用技术

谈论嵌入

时间:2023-03-06 16:37:47 网络应用技术

  嵌入中国的含义是嵌入的(将一个项目嵌入另一个项目),这类似于嵌入在深度学习中的作用。填充应首先出现在NLP字段中,例如Word2Vec,后来又晋升为其他领域,例如搜索促销。研究一段时间后,简要摘要汇总了嵌入的作用和产生方法。

  嵌入是在低维密度空间上某个对象的向量两个对象之间的相似性。此外,可以通过训练上层深度神经网络模型独立地进行嵌入的产生,因此在迁移学习或冷启动中存在相应的应用。

  早期矩阵分解具有嵌入的想法,例如分解共同矩阵以获取隐藏矢量的过程。时间是,矢量一词在自然语言处理领域中发光,并逐渐替换了先前的N-gram方法。代表性Word2Vec方法是CBOW和SKIP-GRAM方法。整体网络结构如下:

  矢量的生成可以被视为离散变量相应嵌入的过程(功能)。输入与每个单词相对应的单热向量,然后在相应的隐藏层中每行的重量是嵌入向量。单速矢量和隐藏权重的乘法本质上是检查表的过程。字段,查看与离散变量相对应的相应的眼膜的过程也是检查表的一个过程,即需要编号不同的离散变量,然后在表中找到相应的位置嵌入向量。

  对于连续变量,目前有许多方法可以找到e毛,例如,输入连续变量到DNN中以输出嵌入,然后与披露的变量连接到Concat;另一种方法是嵌入的字段,该字段分为多个域。,在同一域中共享相同的嵌入,与连续变量相对应的嵌入是将嵌入相应域中的嵌入。缺点是生成的嵌入可能没有的嵌入可能没有足够的区别,例如连续值在离散边界处的值相同或与相同值的离散值相同。在2021 kdd中,华为提出了一种称为autodis的嵌入方法。该方法将连续值进入DNN。相应的k桶通过软马克斯输出的概率,与每个枪管相对应的嵌入,然后使用最大pooltop-k或加权平均聚合以获取相应的嵌入。这个过程将注意力的思想融合在一起。BELOW是一种嵌入的代码实现方法(离散连续变量):``''

  另外,根据嵌入的生成任务的类型,可以分为两种类型:序列生成和目标拟合。例如,单词向量的产生属于序列生成类型。推荐字段中双塔模型的嵌入属于目标拟合类型。从更广泛的角度来看,使用无监督的学习方法获得的替代品也是一种嵌入形式。例如,可以以嵌入形式使用各种编码器编码器输出,或者通过比较学习的特征。下游任务以及卷积中的图形嵌入也可以深入挖掘。

  接下来需要解决的问题是:如何评估生成嵌入的好坏?如何评估嵌入之间的相似性?如何在后续文章中回答与user_id或item_id生成的嵌入方式相对应?