彭司实验室

人类的注意力机制（Attention Mechanism）是从直觉中得到，它是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。深度学习中的注意力机制借鉴了人类的注意力思维方式，被广泛的应用在自然语言处理（Nature Language Processing，NLP）[1]、图像分类及语音识别等各种不同类型的深度学习任务中，并取得了显著的成果。因此，了解注意力机制的原理是深度学习中最重要的技术之一。