Daily

Key Point

RBM
Siamese Network（一）（二）
Triplet Loss
Tensor 和 Matrix 区别
Radiant Correction（辐射校正）
Histogram Matching
Tracking
RPN
Fuzzy clustering
KL散度
Metric Learning（度量学习）

Idea

  • 不断卷积但大小不变可能会导致特征信息在feature map中分布不均匀（过于集中在中间部分），并且，对于变化检测，如果进行深度卷积计算feature map之间的距离，是否会导致特征过于抽象，不足以表达pixel级别的变化信息？是否可以对不同feature map之间的距离进行加权，越深的权重越小？第一层是否要算？
  • 异源图像变化检测，预训练的网络能否是一个“经过训练的输入是SAR图像，输出是Optical图像的模型”，相当于是“特征的提取与重建”。
  • 变化检测的中“label unchanged”和“label changed”能否像GAN中分开训练，即一次大循环中，分别训练m次和n次。
  • 异源图像变化检测中，pixel-wise计算Distance时，不仅计算两幅图之间的距离，还加上和自己图片的距离，二者进行加权，组成最后的距离。

  • [ ] 类似于 cGAN 的思想，只不过在计算 loss 的时候不仅加上 optical to SAR 的损失，还加上 SAR to optical 的损失，二者加权组成进行最后的 loss

    Detail

    CVA

    image.png

    Homogeneous v.s. Heterogeneous

  • Optical Image

光学图像通过测量可见光和近红外光的反射强度来成像。

  • SAR Image

SAR图像中物体的外观由物体的几何形状和介电特性以及SAR传感器的发射/接收配置决定。
SAR图像（灰度）表示不同的物体，相对于光学图像噪声更多。

  • 综合

无论是在SAR还是光学图像中，相同物体的颜色是一样的，即一幅图像中同种物体的

ROC & AUC

https://www.cnblogs.com/dlml/p/4403482.html

Unsupervised v.s. Supervised

  • Unsuperivised

无监督一般通过全局信息或者一些算法，虽然可以达到无监督的目的，但是边界也会因此模糊。（卷积会提取特征，包括边界信息）

Metric

  • Average ranking accross categories : (rank:Baseline + rank:Dynamic Background + rank:Camera Jitter + rank:Intermittent Object Motion + rank:Shadow + rank:Thermal) / 6
  • Average ranking : (rank:Recall + rank:Spec + rank:FPR + rank:FNR + rank:PWC + rank:FMeasure + rank:Precision) / 7
  • TP : True Positive
  • FP : False Positive
  • FN : False Negative
  • TN : True Negative
  • Re (Recall) : TP / (TP + FN)
  • Sp (Specficity) : TN / (TN + FP)
  • FPR (False Positive Rate) : FP / (FP + TN)
  • FNR (False Negative Rate) : FN / (TP + FN)
  • PWC (Percentage of Wrong Classifications) : 100 * (FN + FP) / (TP + FN + FP + TN)
  • F-Measure : (2 Precision Recall) / (Precision + Recall)
  • Precision : TP / (TP + FP)
  • FPR-S : Average False positive rate in hard shadow areas
  • CA : classification accuracy CA= (TP+TN)/(TP+TN+FP+FN)
  • OE : overall error OE=FN+FP

Abbreviation

  • CAE contractive autoencoder
  • CCR correct classification rate
  • CE change extraction
  • CVA change vector analysis
  • CVA compressed CVA
  • DAE denoising autoencoder
  • DBN deep belief networks
  • DC direct comparison
  • FCA feature change analysis
  • FCM fuzzy C-means
  • FLICM fuzzy local information C-means
  • FN false negative
  • FP false positive
  • FSA feature similarity analysis
  • GGKI generalized Gaussian model based on Kittler–Illingworth
  • ICE Iterative conditional estimation
  • ICM initial change map
  • IF independent feature
  • IR-MAD iteratively reweighed multivariate alteration detection
  • JF joint feature
  • KCCA kernel canonical correlation analysis
  • MC mapping comparison
  • MNN mapping neural network
  • NGI neighborhood gray information
  • NLP natural language processing
  • OBCD object-based change detection
  • OE overall errors
  • PCA principal component analysis
  • PCC post-classification comparison
  • RFLICM reformulated FLICM
  • SA
  • SAE sparse autoencoder
  • SAR synthetic aperture radar
  • SDAE stacked denoising autoencoders
  • SGD stochastic gradient descent
  • SMC selective mapping comparison
  • SRCNN super-resolution convolutional neural network
  • TN true negative
  • TP true positive

Paper

Feature Space Loss

风格迁移 Style transfer

Gram Array

Style Loss

风格迁移中利用 Gram 矩阵计算两幅图像之间的风格损失，变化检测 | 笔记 - 图2。

  • Gram 矩阵计算的是两两特征的相关性 , 即哪两个特征是同时出现的，哪两个特征是此消彼长的等，能够保留图像的风格
  • ( 比如一幅画中有人和树，它们可以出现在任意位置，格拉姆矩阵可以衡量它们之间的关系，可以认为是这幅画的风格信息 )

将其直接应用于度量两个特征空间的距离是有一定问题的：

  • 变化检测 | 笔记 - 图3与变化检测 | 笔记 - 图4做差然后优化使其 MSE 最小，这样并不能让优化后的两个特征空间的距离最小，只能保证两个空间的风格相似（如楼房出现，其附近很大可能会出现土地）

    Cosin Similarity

    变化检测 | 笔记 - 图5