多模态遥感智能解译基础模型

1.发展现状与面临挑战

遥感AI有可能下一个具有普惠价值的AI应用

1.1遥感的概念内涵

狭义的遥感定义：

探测器远距离对地球不间断观测，通过数据获取、处理和信息提取，再现地球表面的状况、现象、过程及空间分布，服务国防、社会和经济发展。

1.2遥感大数据的基本特质

背景：美国的PlanetScope卫星星座，每天可对全球陆地全覆盖监测一次

大数据的特质：大量化，多样化，快速化，价值密度低

遥感独特的特质：

1.多传感：空间/光谱分辨率越高，对目标细节特征的描述越充分

• 成像传感器
• 非成像传感器

2.多分辨：获取同一区域的地物特性也不同不同类型传感器的成像机理不同

3.多时相：不同时相的变化过程，能够获取目标区域更丰富的属性信息

4.多要素:是一个包含多类要素的信息全集，面向不同应用提供定制化服务

那有了这么多数据信息，我们需要做的是哪些事情呢

1.3遥感图像解译任务

利用某些标志直接在图像上识别地物或现象的性质、类型和状况，或通过已识别出的地物或现象，利用相互关系推理、分析不易在遥感影像上直接解译的目标

和其他的概念做下区分：

1.3.1遥感图像分类

对输入的图像分配所属的类别 应用领域:土地分类、植被监测等

1.3.2遥感图像目标检测

1.3.3遥感图像语义分割

对遥感图像每个像素给出对应地物类别，以区分遥感图像中的多种地物

应用领域:国土资源普查、海洋监测、智慧城市等

1.3.4遥感图像变化检测

从不同时期遥感数据中定量分析和确定地表变化特征与过程，输入多时相数据，输出变化区域

应用领域:城市变化分析、灾害评估、轮作监测等

1.3.5遥感图像描述

根据输入的图像，生成一句 (段)描述的文字

特点:不仅需检测图像中的物体，还需能理解物体间的关系需结合一定自然语言处理技术

1.3.6遥感图像检索

根据输入的图像，在既有数据库中找到相似的图像 特点:不仅需检测图像中的物体，还需度量图像间相似性，数据库规模较大，可能携带语义信息

1.3.7结合载荷特性的任务：SAR/红外图像目标识别

SAR是一种主动式微波成像雷达，它具备全天时、全天候的观优势

红外图像是通过测量物体向外辐射的热量而获得的，对比度较低

以上就是遥感图像解析任务的情况，其实任务的本质都是分类问题

从图像级分类到目标级分类再到像素级分类

1.4大数据颠覆传统方法

传统方法：

基于物理模型、数学模型的单次和有限次观测

大数据方法：

从模型驱动到数据驱动，不依赖或者较少依赖模型和先验知识，也就是神经网络挖掘

1.5遥感图像智能解析的新内涵

Big Data + AI + RS

基于学习的经验模型取代了传统基于物理过程的第一原理模型，催生了全新的处理方法

机器学习方法取代了传统的人工规则和干预，降低了定量遥感的门槛，催生了全新的应用模式

1.6通用智能方法遇到的挑战

难以直接应用到遥感图像解翻译领域

2.智能解译方法研究进展

2.1通用机器学习方法

基于贝叶斯的统计建模方法:产生式、判别式等

2.2网络模型运用

神经网络模型 +图像先验知识，缩小候选区域，降低虚警

2.3模型设计与优化

2.4遥感解译技术路线

2.5技术思想的选择

2.5.1小模型

优点:灵活部署，算法精度随着使用过程逐步提升

不足:一种载荷/目标/任务一种算法，泛化性不理想

2.5.2大模型

2.5.3目标

构建遥感行业的通用智能解译基础模型

具备能力: 不同载荷/目标的高泛化性 不同解译任务的高精度 自主学习和优化能力

2.5.4当前阶段

采用“基础模型”+“下游任务” 模式

2.5.5问题挑战

• 样本数据
• 模型结构
• 下游任务

2.5.6总体方案

2.5.7采取措施

样本数据

基础模型

下游任务

轻量化

3.典型场景应用

3.1多累地物要素精细分类

3.2要素多任务提取重建

3.3不规则地物普查

4.进一步工作的思考

4.1进一步探索遥感基础模型的性能边界

4.2结合自主可控需求，不断完善遥感基础模型的国产化适配

4.3构建更开放的遥感智能生态，提供数据与基础模型服务