当前位置: 首页 > 后端技术 > Python

深度学习数学基础之链式法则

时间:2023-03-25 20:19:13 Python

上次讲了导数和偏导数的基础,所以这些还不够用,今天就来讲一下链式法则,用于求解复杂函数导数的错误返回传播规律。1复合函数已知函数y=f(u),当u表示为u=g(x)时,y作为x的函数可以表示为像y=f(g(x))这样的嵌套结构,其中A具有嵌套结构的函数称为f(u)和g(x)的复合函数。2链式法则2.1单变量函数链式法则已知单变量函数y=f(u),当uu表示为单变量函数u=g(x)时,复合函数f(g(x))的导函数可以简单得到如下。上式称为单变量函数的复合函数求导公式,又称链式法则。在公式右边,如果把dx、dy、du看成单个字母,那么公式左边就可以看成是对右边进行简单约简的结果。这种观点永远正确。通过用dx、dy等表示导数,我们可以这样记住链式法则:复合函数的导数可以像分数一样减少,但是这个归约规则不适用于dx,dy等的平方。接下来,我们尝试推导sigmoid和wx+b的复合函数。2.2多元函数链式法则在多元函数的情况下,链式法则的思想也是适用的。只需像处理分数一样扭曲导数公式,但它并不像您想象的那么简单,因为您必须将链式法则应用于所有涉及的变量。让我们看一下两个变量的情况。变量z是u和v的函数。如果u和v分别是x和y的函数,则z是x和y的函数。这时,下面的多变量函数的链式法则成立。变量z是u和v的函数,u和v分别是x和y的函数。z关于x求z时,先求u和v,再乘以z对应的导数,最后相加。当z是关于y导出时也是如此。下面的方法还是成立的。