Conformer自注意力机制模块的一些思考

[AndyGuo1]

作者您好，您在使用Conformer时使用的数据没有通道这一维度。想请问您如果我是多通道数据可以对每个通道的数据应用自注意力机制，最终将多个多个通道的结果在连接起来传入下一个卷积层。这种想法合理嘛。
之所以有这种想法是因为看到很多自注意力机制对于输入的长度是固定的。歌曲的长度不固定，不想放弃输入不同长度进行训练这一数据增强的方式。
对于Time Domain Pool池化是否也可以采用以上思路呢。

[Liu-Feng-deeplearning]

1. 多通道的问题，我理解这里多通道是指音频的两个通道而不是attention的多通道。如果是这样的话，两个通道内容差别不大。对于内容理解这个层面，似乎多通道可能不是很有必要。
2. 如果说是对长音频的不同片段分别进行处理，最终进行叠加并期望有更高的收益。感觉这个想法是靠谱的，印象中也有不少论文在做类似的探索。