【Transformer原理讲解】https://zhuanlan.zhihu.com/p/48508221

    Transformer由于自注意力机制,擅长捕捉长序列依赖,在序列到序列任务中表现出色,而卷积则擅长对局部特征建模,在图像领域大放异彩。Conformer [11]结合两者优势,在语音识别准确率带入到新的高度。来源https://blog.csdn.net/BAAIBeijing/article/details/113409843

    【Conformer 论文和代码】https://paperswithcode.com/paper/conformer-convolution-augmented-transformer
    【Transformer 与 RNN 在语音应用中的比较研究 论文和代码】https://paperswithcode.com/paper/a-comparative-study-on-transformer-vs-rnn-in
    【使用 Transformer 网络的神经语音合成 论文和代码】https://paperswithcode.com/paper/neural-speech-synthesis-with-transformer
    【使用无监督预训练改进基于 Transformer 的语音识别 论文和代码】https://paperswithcode.com/paper/improving-transformer-based-speech

    • 思路1:用Transformer替代LSTM
    • 思路2:用LMMSE替代LS信道估计