1.6 软件与算法能力
光电硬件采集的原始数据，必须经过完整的软件与算法链路才能转化为可用的信息产品。软件能力既是光电系统差异化的核心竞争力，也是很多用户在评估整体解决方案时容易忽视的关键环节——一套好的硬件搭配低质量算法，最终交付的仍是没有价值的数据。
一、软件能力架构
┌────────────────────────────────────────────────┐
│ 应用层（上层） │
│ 目标检测 / 分割 / 分类 / 报表 / GIS 可视化 │
│ API / Web 服务 / Dashboard │
├────────────────────────────────────────────────┤
│ 分析处理层（中层） │
│ 光谱分析（解混/分类/指数） │
│ 图像处理（增强/配准/融合） │
│ AI 推理引擎（ONNX/TRT/RKNN） │
├────────────────────────────────────────────────┤
│ 数据预处理层（底层） │
│ 驱动采集 / 触发同步 / 实时显示 │
│ 暗场/平场/辐射定标 / 几何校正 / 格式转换 │
└────────────────────────────────────────────────┘
二、数据采集与预处理能力
2.1 标定流水线（必选，不可缺）
| 步骤 |
操作 |
作用 |
| 暗场减除 |
遮光采集 $N$ 帧均值 $D(i,j)$ |
消除暗电流、ADC偏置 |
| 平场归一化 |
积分球 / 白板采集 $F(i,j)$ |
消除像元响应不均、渐晕 |
| 辐射定标 |
DN → 辐射亮度 $L$ |
结果可与物理量对比 |
| 波长定标 |
特征谱线 → 像素-波长映射 |
光谱数据可查表 |
| 几何校正 |
棋盘格/RPC 参数 |
图像畸变消除、地理参考 |
任何一步缺失都将导致后续分析结果失去可信度。
2.2 实时采集控制
- 外触发模式：编码器脉冲触发，用于线扫相机与传送带同步
- 软触发/内触发：定时采集，用于固定场景监控
- 时间戳同步：多传感器（可见光 + 热成像）毫秒级时间对齐，用于数据融合
三、光谱分析算法
| 算法 |
功能 |
典型工具/库 |
| 光谱角填图（SAM） |
计算像元光谱与参考谱的夹角，阈值以内认为匹配 |
ENVI、Python spectral |
| 光谱特征拟合（SFF） |
最小二乘拟合参考谱，用残差和吸收深度作相似度 |
ENVI |
| 线性解混（FCLS） |
约束最小二乘求端元丰度 |
Python pysptools |
| PCA / MNF 降维 |
减少数据维度，分离信号与噪声 |
Python scikit-learn |
| 异常探测（RX 算法） |
无需参考光谱，检测与背景统计分布显著不同的像元 |
ENVI RX Detector |
| 波段比值 / 植被指数 |
NDVI、NDRE、SAM 等实时计算 |
QGIS、GDAL、DJI Terra |
| 近红外反射率反演 |
结合参考白板，输出绝对反射率 |
自研流水线 |
四、图像处理与 AI 算法
4.1 传统图像处理
| 功能 |
常用算法 |
场景 |
| 去噪 |
高斯/双边/NLM/BM3D |
低 SNR 图像预处理 |
| 边缘检测 |
Canny、Sobel、Laplacian |
缺陷轮廓提取 |
| 形态学操作 |
腐蚀、膨胀、开运算、闭运算 |
缺陷连通域处理 |
| 图像配准 |
SIFT/ORB + RANSAC、互信息法 |
多时相、多模态图对齐 |
4.2 深度学习推理
| 任务 |
代表模型 |
关键指标 |
| 目标检测 |
YOLOv8、RT-DETR |
mAP@0.5:0.95 |
| 语义分割 |
U-Net、SegFormer |
mIoU |
| 异常检测 |
PatchCore、STFPM |
AUROC |
| 图像超分辨率 |
ESRGAN、HAT |
PSNR + SSIM |
| 变化检测 |
ChangeFormer、BIT |
F1 Score |
4.3 模型部署加速
| 硬件平台 |
推荐格式 |
性能参考 |
| NVIDIA GPU |
TensorRT INT8 |
YOLOv8n: < 5 ms/帧 @ RTX3060 |
| 瑞芯微 NPU（RK3588） |
RKNN |
YOLOv8n: ~30 ms/帧 |
| Intel CPU |
OpenVINO |
中速，适合桌面端 |
| ARM CPU |
NCNN / TFLite |
适合低功耗嵌入式 |
五、软件产品形态与交付方式
| 形态 |
说明 |
典型用户 |
| 嵌入式固件 |
在相机/控制板内实时运行基础预处理 |
传感器集成商 |
| 桌面分析软件 |
GUI 界面，数据导入→分析→导出报告 |
科研、遥感作业员 |
| SDK / 算法库 |
C++/Python 接口，按功能模块调用 |
二次开发团队 |
| 推理服务（API） |
REST/gRPC，部署于服务器或边缘设备 |
系统集成商 |
| SaaS 云平台 |
上传数据→云端处理→结果下载/可视化 |
政府/农业用户 |
| 端边云协同 |
边缘轻量推理 + 中心精细分析 + 云端存储归档 |
大规模部署场景 |
六、选型要点
- 标定流水线的完整性是硬性门槛：没有规范标定，再好的算法也无法给出可信结果。
- 模型必须在目标数据集上验证：公开数据集上的优异指标不代表在实际产线或遥感场景的性能。
- 实时性需提前测试：AI 模型的 batch inference 速度和流水线端到端延迟（含 IO）相差很大，需在目标硬件上实测。
- 标准格式输出降低集成成本：COCO JSON、GeoTIFF、HDF5、ONNX 导出等标准格式，远优于私有封闭格式。
- 数据隐私与合规：医疗、安防等场景数据上云需符合数据安全法、GDPR 等法规。
参考资料
- 第 9 章：图像处理与 AI 算法（9.1~9.9）
- PyTorch / ONNX Runtime 文档
- MLflow / Weights & Biases 实验管理
更新时间
2026-03-03