注意力机制-知识问答-YUQINGQI编程文章分享

全部

java php laravel yii python c c++ c# objective-c javascript swift css html5 ruby perl lua scala bash Dart SQL

注意力机制（Attention）
- 注意力机制
- Attention
2020-02-10 22:38 7929 0 0

为什么要用Attention机制我们知道在Seq2seq模型中，原始编解码模型的encode过程会生成一个中间向量C，用于保存原序列的语义信息。但是这个向量长度是固定的，当输入原序列的长度比较长时，向量C无法保存全部的语义信息，上下文语义信息受到了限制，这也限制了模型的理解能力。所以使用Attention机制来打破这种原始编解码模型对固定向量的限制。Attention原理Attention的原理就...