Question

我认识到,这或许是一个非常特殊的问题,但任何人都有机会与持续的神经网络合作? 我特别关心的是,一个连续的神经网络对你通常使用离散的神经网络有何用处。

为了明确起见,我将澄清我通过持续的神经网络所说的话,因为我可以认为它意味着不同的东西。我确实是<>而不是,意思是启动功能是连续的。更正我指的是将隐藏层的神经数量增加到一定数量的想法。

So for clarity, here is the architecture of your typical discreet NN:
_{(source: garamatt at sites.google.com)}

<条码>x为投入,g为隐蔽层的启用,v<>>为隐蔽层的重量,w为输出层的重量,b为偏差,而且显然输出层具有线性(即无)。


The difference between a discrete NN and a continuous NN is depicted by this figure:


_{(source: garamatt at sites.google.com)}
这就是说,让隐藏的神经系统的数量变得有限,以便你的最终产出成为整体。 在实践中,这意味着,你不必计算一个决定性的总额,而是必须估算相应的组成部分。
很显然,它与许多隐藏的神经系统产生过度适应的神经网络存在共同的误解。
具体地说,鉴于这种关于分离和连续的神经网络的定义,我想知道是否有任何人与后者合作,以及他们使用什么东西。
Further description on the topic can be found here:
http://www.iro.umontreal.ca/~lisa/seminaires/18-04-2006.pdf

Answer 1

我认为,这或者只是试图证明任何功能都超出了无线电视新闻网建筑的近似能力,或者可能是关于建立职能零敲碎打近(通过支持)的方法的主张。如果是后者的话,我认为,现有的方法要快得多,不太容易受当地小型工业的影响,而且比再种植更容易过度适应。

我对CNN的了解是,连接和神经器含有其所培训的数据的压缩表述。关键是,你拥有一个庞大的数据集,需要比每个例子中突出的“一般教训”更多的记忆。 CNN据称是经济集装箱,将从这一巨大财富中提取这一一般教训。

如果贵国的CNN有足够的隐蔽单位对原始功能进行严格抽样调查,那就相当于说,贵国的CNN足够大,足以纪念培训资料(而不是从中概括)。在一项决议中,将培训教材作为原始功能的样本。如果无线电视新闻网有足够的神经器在比你的培训资料更高的分辨率中抽取这一功能,那么该系统根本不会受到任何压力,因为该系统不会受到神经机的局限。

由于没有诱导或要求进行一般化,因此,你可能同样有理由通过在记忆中储存你的所有培训数据并使用K-nearest街区,该区将比任何无线电视新闻网更有成效,并且将始终如一地履行和任何有线电视新闻网的取样方法。

Answer 2

这一术语在机器学习文献中相当突出,这解释了所有混淆。看来,这好像是一份纸面文件,这是一个有趣的文件,但是它并没有真正导致任何事情,这可能意味着几个事情;提交人可能根本失去兴趣。

我知道,Radford Neal成功地利用了Bayesian神经网络(可计数的是,许多隐藏的单位,连续的神经网络文件延伸到无法计数的病例)(见,见。 http://www.nipsfsc.ecs.soton.ac.uk/“rel=“nofollow noreferer”>NIPS 2003年特选挑战。

Answer 3

过去,我曾利用不间断的CNN片研究项目。启动时使用了双极高代谢塔,该网络吸收了数百个浮点投入和约100个浮动点值。

在这种特殊情况下,该网络的目的是学习一个矿物培训的动态方程式。该网络的目前状况是列车和预测速度、互换动态和其他50秒的火车。

这个项目的理由主要是业绩。这一目标正针对一个嵌入式装置,而评价CNN则更有利于业绩,从而解决了传统的民阵(普通差值)制度。

一般来说,一个连续的CNN应当能够学习任何一种功能。当它无法/极其难以使用决定性方法解决制度时,这一点尤其有用。与经常用于模式确认/分类的双元网络相比。

由于其非决定性性质,任何类型的无线电视新闻都带有触动性,选择适当的投入/网络结构可能有些是黑艺术。

Answer 4

向前推进的神经网络总是“连续的”——它是唯一的退学学习实际奏效的方法(青年可以通过单独/分步骤功能退学,因为它在偏差门槛值上没有区别)。

您可能会有一套分门别类(例如“一光”)的输入或目标产出编码,但所有计算方法都不断进行估价。产出可能受到限制(即产出等级软强,使产出总合为一,在分类环境中是司空见惯的),但还是持续。

如果你指的是一个预测一个持续、不受限制的目标的网络——在“正确答案”是分门别类的情况下考虑任何预测问题,而一条线性回归模式就足够了。经常的神经网络在不同时期是各种金融预测应用的一种可变方法,例如。

Answer 5

Continuous neural networks are not known to be universal approximators (in the sense of density in $L^p$ or $C(mathbb{R})$ for the topology of uniform convergence on compacts, i.e.: as in the universal approximation theorem) but only universal interpolators in the sense of this paper: https://arxiv.org/abs/1908.07838

友情链接