Graph based Image fusion and features extraction for remote sensing applications
Loading...
Date
2024
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Pontificia Universidad Javeriana Cali
Abstract
Recientemente los avances en la tecnología de sensores han conllevado a un incremento en la disponibilidadde imágenes (a una alta resolución espacial y espectral) hiper-espectrales, multi-espectrales(ME), y de radar de apertura sintética (SAR), las cuales permiten describir un objeto o un fenómeno. Cada sensor captura diferente información que explica distintas características físicas. Por ejemplo, un sensor SAR captura información relacionada a características de la superficie (como la aspereza, estructura geométrica, y orientación), y un sensor ME captura la reflectancia de los objetos a diferentes longitudes de onda. Sin embargo, la información obtenida en tierra por un solo sensor es limitada para sacar conclusiones confiables sobre algún fenómeno como la detección de cambios en la cobertura del suelo y el crecimiento de biomasa. Por el contrario, las técnicas de fusión de imágenes integran información espectral, espacial y temporal de diferentes sensores con el fin de obtener información apropiada y generar imágenes adecuadas para la percepción humana y de maquina. La fusión de imágenes es el proceso de combinar dos o más imágenes en una sola, la cual debe de ser más informativa y por lo tanto útil en diferentes aplicaciones de sensado remoto (i.e. geología, agricultura, miliar, etc). Por ende, generalmente es deseado el uso de datos capturados por diferentes sensores.
Aunque la fusión de datos contribuye a mejorar el desempeño en tareas de clasificación y detección en sensado remoto, es una tarea que es compleja. Por ejemplo, las diferentes resoluciones, unidades,dimensiones, y formatos son retos impuestos por los datos sin procesamiento alguno. Además, los datos homogéneos (i.e. datos captados por el mismo sensor) presentan pequeñas variaciones intraclase
y distorsiones por brillo (artefactos), para el caso de datos heterogéneos (i.e. datos captados por diferentes sensores) los pixeles poseen diferentes firmas y por lo tanto siguen un comportamiento estadístico diferente lo cual dificulta la extracción de información relevante de los datos fusionados. En consecuencia, puede ser necesario el uso de pre-procesamiento y post-procesamiento. A pesar de que numerosos métodos propuestos en las últimas décadas para la fusión de datos que se enfocan en la extracción de características, embebimiento de espacios, modelamiento de datos, adaptación de dominio, transformación de datos, aprendizaje por transferencia, y traducción de imagen a imagen, el análisis estructural inducido por los grafos no ha sido ampliamente explorado. Más precisamente, los actuales algoritmos de fusión basados en grafos han mostrado su habilidad para lidiar con la variabilidad que presentan el formato de los datos y han permitido de una manera flexible representar la relación entre entidades de datos. No obstante, los métodos de fusión de datos basados en grafos no explotan la información prior embebida en los datos (i.e. procesamiento de señales en grafos), son altamente impactados por la forma de representar una imagen (i.e. pixelescomo nodos, super-píxeles como nodos, y parches como nodos), y la regla de fusión que se utiliza usualmente depende más de la matriz de pesos que de las bases espectrales.
Description
item.page.descriptioneng
Recent advances in sensor technology have lead to the increased availability of hyper-spectral, multi-spectral (MS), and synthetic aperture radar (SAR) images (at very high spatial and spectral resolutions), which describe an object or phenomenon. Each sensor captures different information that explains physical features. For example, a SAR sensor captures information about the physical characteristics of a surface (such as roughness, geometric structure, and orientation), and an MS sensor captures reflectances at different wavelengths from objects. Nonetheless, the ground
information obtained from a single sensor is limited to draw reliable conclusions about phenomena such as changes in land cover and biomass growth. In contrast, image fusion techniques integrate spectral, spatial, and temporal information from several sensors to obtain appropriate information and construct images that are more suitable for human and machine perception. Image fusion is a process of combining two or more images into a single image which is more informative, henc useful and helpful in different remote sensing applications (i.e geology, agriculture, military, etc). Therefore, it is generally desirable to use data captured from different sensors.
Even though data fusion contributes to better performance in classification and detection in remote sensing, it is a complex task. For example, the different resolutions, units, dimensions, and formats are challenges imposed by raw data. Furthermore, homogeneous data (i.e. data acquired from the same sensor) presents small intra-class variability and brightness distortions (artifacts), in the case of heterogeneous data (i.e. data acquired from different sensors) the pixels have different signatures, and therefore follow distinct statistical behaviors that makes difficult the extraction of relevant information from the fused data. Consequently, pre-processing and post-processing stages might be needed. Despite the numerous data fusion proposed methods in the past few decades that focuses on approaches such as feature extraction, space embedding, data modeling, domain adaptation, data transformation, transfer learning, and image-to-image translation, structural analysis induced by graphs have not been widely explored. More precisely, the current graph-based fusion algorithms have shown their ability to cope with the variability of data formats and provide a flexible way of representing the relationship between data entities. Nonetheless, the graph-based fusion methods do not exploit prior information embedded in the data (i.e. graph signal processing). In addition, they are highly impacted by the image representation (i.e. pixels as a node, super-pixels as a node, or patches as nodes), and the fusion rule commonly relies more in the weighted adjacency matrix rather than the spectral basis.
Keywords
Biomass estimation, Block matching, Change detection, Graphs, Graph fusion, Graph signal processing, Optimization