归纳偏置transformer,transformer块

归纳偏置transformer,transformer块

由于self-attention模块的计算，存储复杂度都很高，让Transformer在处理长序列数据时效率较低。主要的解决方法是对Attention做轻量化以及引入分治思想。2. 模型问题，不能很好的建模长远的依赖关系(全局信息),而基于transformer的方法可以很好的建模全局信息但是transformer反而缺乏类似于CNN的归纳偏置，这些先验信息必须

这就存在一种取舍权衡：CNN 强大的归纳偏置使得即使使用非常少的数据也能实现高性能，但当存在大量数据时，这些归纳偏置就可能会限制模型。相比之下，Transformer 具有最小的归纳偏NAT将每个query的感受野设定为其一个邻域区域，通过叠加操作和分层结构从而实现感受野逐步增大，并具有局部归纳偏置性能。image-20220508151546862 论文标题：Neighborhood Attention

在transformer利用到计算机视觉领域中后，相关文章中反复强调Inductive bias. 本文仅是自己的理解记录。如有错误，还请指正。在机器学习中，很多学习算法经常会MLP比肩Transformer,归纳偏置多余了？多层感知机MLP(Multilayer Perceptron),也叫前馈神经网络(feedforward neuarl network)是最早发明的人工神经网络之一，其

1MLP比肩Transformer，归纳偏置多余了？多层感知机MLP(Multilayer Perceptron)，也叫前馈神经网络（feedforward neuarl network）是最早发明的人工神经网络之一，其结构设计简单，一类是设计新的结构，结合RL 归纳偏置来降低训练策略或价值函数的难度。例如[Wang et al. 2016] 提出决斗（dueling）网络架构，其中一个网络用于状态价值函数，另一个用于状态相

在RNN中，归纳偏置则可以理解为时间不变性，这是由于RNN中序列顺序的每个时间步之间都是有关联的。在Transformer中，归纳偏置几乎是不存在的，这使得其更具备通用性(即不会只针对某种可以观察到，所有模型的缩放行为是相当独特和不同的，即其中大多数不同于标准Transformer。也许这里最大的发现是，大多数模型(例如LConv、Evolution)似乎都与标准Transformer 表现