在所有模型优化问题中，最基本和核心的问题是对拟合程度的讨论和优化。如果模型可以很好地捕获整体规则，则可以具有良好未知数据的预测效果。限制模型捕获总体定律的原因：
使用的功能
x是一个ndarray，由0到1之间的20点组成，在y =根号下x+r。r是人工制造产生的随机噪声，在[-0.1,0.1]之间均匀分布。使用numpy polyfit函数执行多项式拟合，polyfit函数将使用最小的每日方法来适合基于集合的多项式。订购，并在拟合后返回截面系数。执行多项式拟合。使用1-阶x多项式，3-阶x多项式和10级x多项式拟合y。并使用图形观察多项式的拟合程度，首先定义一个辅助图功能，以方便观察。
t是在[0,1]培养基分布下分布的200个点，P是由DEG参数确定的多项式回归方程。当拟合方程x输入输入时，p（t）是多项式输出结果。用于生成由红点图组成的红色点颜色，（t，p（t））由（x，y y）组成的原始值组成），由默认颜色组成的红色虚线图，（t，np.sqrt（t））由默认的颜色coptionsEncetestestest 3-阶多项式拟合结果组成
数据集的结果）和原始数据集中包含的目标定律实际上是X根号下方的X，因此最终的红色虚线（t，np.sqrt（t））实际上代表了红色点的红点集后面DOT设定了目标定律，希望拟合多项式可以符合红色虚线，该线路尽可能地代表客观定律，而不是通过噪声数据吸引红色虚线的位置，与此同时，它不希望红色曲线的定律。我们试图将图片中的1级，3级拟合和10级组合组合。
当模型不合适时，模型的复杂性是改善模型效果的基本方法。当然，从神经网络的整体模型结构的角度来看，只有两种方法可以提高复杂性。
创建一个多功能回归方程
该模型很差，训练错误和测试误差很大（以前为0.0001）。该模型不拟合。接下来，考虑增加模型的复杂性。
在神经网络的基本结构下，如何改善模型的复杂性，以便可以对多线性回归数据进行建模？首先，当激活函数仅是线性转换y = x时，层的增加将不会显着改善结果。通过以下实验验证：
结果，模型稳定性得到了显着提高。对于叠加线性层的神经网络模型，由于该模型仅将数据转换为数据，因此无法满足适合高级项目的目的。换句话说，在此过程中，首先，需要激活模型的复杂性，首先需要激活该函数的合作，然后需要激活模型的层数和每层神经元的数量。模型越复杂，输出越稳定，输出越稳定是，但这只是一项地方法律。实际上，大多数情况下，模型越复杂，输出结果就越稳定。
对于激活功能，不同激活功能的效果非常不同。输出层的激活函数和隐藏层的激活函数应分别处理。它旨在满足某些特定的输出结果。
训练错误图
测试错误图
与其他激活函数相比，RELU激活函数明显更好。
在Relu激活函数的初始判断优于Sigmoid激活函数和TANH激活函数之后，添加了模型的复杂性，即添加一个隐藏的层来构建更复杂的神经网络模型。首先是的叠加是relu激活函数，因此我们考虑添加几层隐藏层，并考虑在隐藏层中使用relu函数，即So -called添加relu layer。我们在Relu_Class1的基础上创建relu_class2结构，如下所示：如下：
模型测试
测试错误图
模型效应没有显着改善，但出现了更多的波动，并且迭代收敛速度降低了。模型效应无法改善。猜猜由于模型不够复杂，因此请尝试继续添加隐藏的层
在堆叠Relu激活函数的过程中，模型效应尚未在预期的方向上发展。MSE不仅不会变得越来越较低，而且在Model3和Model4中也具有模型故障！这完全说明了模型构建越复杂，越好。模型变得缓慢，收敛过程的波动增加，甚至可能发生的模型故障也可能发生。意味着“解决这些问题，即模型优化方法。实际上，这也说明了从侧面优化算法的重要性。