神经网络从根本上不同于其他信号处理系统。实现某种信号处理目标的“正常”方法是应用算法。

在这个模型中，研究人员创建了一种数学方法来以某种方式分析或修改信号。有多种方法可以去除音频中的噪声、查找图像中的边缘、根据的算温度、确定 RF 波形的频率内容等。然后，设计人员通过将该方法转换为可由执行并适应给定应用程序需求的算法，以研究人员的工作为基础。

F 是信号处理系统的一个例子，我们可以用的数学方法对其进行评估和理解。 

另一方面，经过训练的神经网络是一个经验系统。

网络中发生的数学过程并不构成旨在对手写字符进行分类、预测龙卷风的形成或开发极端航空机动控制程序的特定算法。相反，神经网络中的数学是一个框架，使网络能够根据训练数据创建定制的计算模型。

我们了解允许神经网络学习和实现其所需功能的数学框架，但实际的信号处理算法特定于训练数据、学习率、初始权重值和其他因素。

与 FIR 滤波器不同，神经网络取决于许多不同的因素。

这就像小时候学习语言和成人学习语言之间的区别。

一个甚至从未听过“语法”这个词的孩子可以重复说出正确的动词形式，因为他或她的大脑自然地识别并保留了孩子从与他们互动的老年人那里接收到的大量语言输入数据中包含的模式。

然而，成年人通常无法访问所有这些输入，并且可能不会以相同的方式吸收模式，因此我们记住并实施使我们能够正确结合动词和选择时态的语言“算法”。

验证的重要性

神经网络可以解决极其复杂的问题，因为当给定大量输入时，它们“自然地”找到类似于儿童寻找语言模式的数学模式。但这种信号处理方法绝不是万无一失的。

考虑说英语的孩子说“goed”而不是“went”或“holded”而不是“held”。这些被称为过度正则化错误。他们已经选择了过去时的 -ed 模式，但出于某种原因——可能是数据不足或认知特质——他们还没有改进他们的语言模型来解释过去时不规则的动词。

当然，没有人会因为一个四岁的孩子说“我去了公园”而责备他。但是，如果一位杰出的政治家在发表重要演讲时反复说“去”、“举行”、“发现”、“知道”等等，听众会非常不高兴（或完全困惑），演讲者的政治生涯可能会受到影响。戛然而止。

这些过度正则化错误是一个很好的例子，说明训练有素的神经网络在实现所需信号处理功能的能力上可能存在意想不到的差距。尽管当我们只是在进行实验时，微小的差距可能看起来不重要，甚至很有趣，但政客的例子提醒我们，它们在实际应用中可能是灾难性的。

当网络面对真实的应用程序数据时，训练不足和过度训练都可能导致意外和有问题的行为。有关详细信息，请参阅第 4 部分。

现在我们明白了为什么验证是神经网络开发的一个重要方面。训练是不够的，因为训练数据集本身是有限的，因此网络对该数据集的响应也是有限的。

此外，训练会产生一个“黑匣子”计算系统，我们无法像典型的公式或算法那样对其进行分析和评估。因此，我们需要验证，我将其定义为尽一切合理努力确保网络能够成功处理典型的现实输入数据，并且在出现非典型数据时不会产生惊人的故障。