2019年9月14日，数理学院-数学学部赵丽娜老师（通讯作者）及其科研团队在国际顶级地学期刊《IEEE TGRS》上接收并在线发表了题为“HSI-BERT: Hyperspectral Image Classification Using the Bidirectional Encoder Representation From Transformers”的研究论文。该论文通过对高光谱分类问题中普遍存在的空间信息利用不充分和带标签样本少等问题出发，借鉴了自然语言处理中的注意力机制的最新结果，给出了基于变换的双向编码表示的高光谱分类框架。该算法适用于高光谱图像这类大数据中的小样本分类问题，第一次将自然语言处理中的注意力机制引入到立方体图像分类问题中。在普遍使用的三个高光谱数据集上的实验表明，该方法的分类精度和计算时间取得同类深度学习的分类算法中最好的结果。
原文链接：http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8824217&isnumber=4358825
(DOI: 10.1109/TGRS.2019.2934760)

图1. 框架结构图

图4：注意力机制和多头注意力机制图

表6. 联合训练机理图

图14 印第安松数据集五类算法分类效果对比图（e是文中方法）
     

 图16 Salinas数据集五类算法分类效果对比图（e是文中方法）

本文通讯作者为数理学院的赵丽娜老师，北京化工大学为第一完成单位，北京理工大学为合作单位。本研究工作得到了国家自然科学基金委项目的资助。