一分钟解释:神经网络

在过去的几年中,人们普遍对神经网络和机器学习大肆宣传。视频解释了神经网络背后的基本原理以及它们如何处理输入。以下是视频未提及的一些内容:

前馈/递归神经网络和其他架构

我的视频仅介绍了最基本/最简单的神经网络类型。这种特定的体系结构可以称为完全连接的前馈神经网络。前馈意味着它的神经元简单地将其输出前馈到下一层,而没有任何连接馈入同一层或上一层。完全连接是指一层的每个神经元都有来自上一层的所有神经元的传入连接。

但是,还有许多其他类型的神经网络和神经网络体系结构。尽管它们全部由相同的基本概念(例如神经元,加权连接和激活函数)组成,但是特定的体系结构可以使解决某些任务变得更加容易。

基本上,神经网络有两种主要类型:前馈神经网络(FNN)和递归神经网络(RNN)。递归神经网络与前馈神经网络的不同之处在于,它们与同一层或先前层的神经元有联系。尽管前馈网络没有时间感(每个输入都以相同的方式处理,独立于先前的输入),但递归神经网络可以通过这些互连保持内部状态,并在每个时间步进行更新。

此外,前馈和递归神经网络都有不同的体系结构。“架构”是指网络的连接和拓扑结构以某种已知的方式排列,已知该方式对于特定问题非常有效。前馈神经网络最著名的架构可能是卷积神经网络(ConvNet / CNN)。卷积神经网络主要用于图像/对象识别任务,并在许多相关学科中保持最新技术水平。他们特别擅长解决这些问题,因为他们利用了有关2D形状不变性的先验知识。我还计划在本系列的后续部分中更详细地解释卷积神经网络。

训练神经网络

最后,我的视频仅简短地谈到了实际训练神经网络的主题。从理论上说,可以手动调整网络的各个权重,直到输出所需的值,但这很快就变得不可行了。实际上,神经网络总是使用数十万或数百万的权重。

训练神经网络最流行的方法是机器学习。机器学习可以分为三种主要类型:监督学习,无监督学习和强化学习。最受欢迎的机器学习算法使用某种形式的梯度下降,这是一种逐步逐步将权重更新为可以减少权重的方向的方法。本系列的下一部分将更详细地说明机器学习及其子类别。

然后还有进化算法,我个人也考虑过机器学习(但我不确定,公众是否对此表示同意)。进化算法受生物进化的启发,但是显然它们仅表示自然过程的粗略简化,而不是生物现实。有许多不同类型的进化算法,但是它们通常共享一个4个步骤的循环:评估,选择,重组和变异。换句话说:生成了许多随机主题;对这些技术可以解决问题的能力进行评估;选择最好的并合并以形成新的主题;新科目被突变;重复。例如,我采用了一种特定的进化算法,称为遗传算法在此视频中训练神经网络 。我还计划在本系列的另一部分中解释进化算法。

激活功能

我只是在视频中非常简单地提到了激活功能。在神经元将其值传递给其连接的神经元之前,通常会使用特定的数学函数转换其计算值。每个神经元都可以具有自己的激活功能,尽管您通常会看到整个层都使用相同的功能。我的视频中使用的函数是S型函数。从历史上看,这是标准,但是如今使用了许多其他功能,例如tanh,softsign,ReLU等,并且发现对于某些设置,乙状结肠不是最理想的。

相关文章

Leave a Comment