Rafael Wiemker:
The Color Constancy Problem in Multispectral Remote Sensing - On the Impact of Surface Orientation on Spectral Signatures
Dissertation, Universität Hamburg 1997, 263p., Logos Verlag, Berlin 1998, ISBN 3-89722-046-6 <- order here !
(postscript 4.5 MB) (pdf 7.3 MB)

Key words: spectral signatures, multispectral imagery, remote sensing, digital image processing, color constancy problem


Abstract

We suggest a novel approach to the surface orientation related color constancy problem for multispectral imagery. The basic problem addressed in this thesis is just how the observed spectral signature of a Lambertian target surface varies when its surface orientation changes.

Our approach is based on a dichromatic illumination model which we have verified by several thousands in situ measured spectra of a dozen samples of different surface materials. The two principal components of daylight illumination are direct sun light and diffuse sky light, which show distinctively different spectral characteristics. The observed spectrum of a given surface with a specific Lambertian reflectance spectrum varies with its surface orientation, since each orientation leads to different contributions of direct solar and indirect diffuse illumination. The ambiguity about the actual illumination of a surface, causing uncertainty about its spectral reflectance, has been recognized as the color constancy problem. In multispectral remote sensing, this leads to erroneous classification and segmentation as well as spurious results of change detection.

We introduce a transformation which is invariant against surface orientation. The suggested invariant is a linear mapping in the logarithmic feature space and filters out all spectral information which can possibly stem from an illumination change rather than from the reflectance of a given surface. Instead of recovering the reflectance signal, the suggested mapping produces a new only surface reflectance-dependent descriptor which is invariant against varying illumination. Sole input is the relative direct to diffuse illumination spectrum. No assumptions about the possible reflectance spectra are made. Error propagation through the transform is well understood. The mapping is a purely pixel-based, one-pass matrix operation and can preprocess multispectral images in order to segment them into regions of homogeneous reflectance, unperturbed by varying illumination conditions.

Apart from simulated and in situ measured data, the suggested transform has been successfully applied to experimental multispectral imagery. The quantitative results and example clippings from the imagery show significant improvements in the multispectral classification of target surfaces under varying surface orientation. Although the transformed data may not completely supersede the original spectral data, the suggested transformation is shown to be a powerful early processing step, allowing subsequent orientation invariant classification, edge detection and segmentation.


Kurzfassung

Die multispektrale Fernerkundung liefert Bilder der Erdoberfläche in verschiedenen Wellenlängenbereichen (typisch N = 5-100 Kanäle), so daß jedem Bildelement ein Spektrum zugeordnet werden kann. Diese spektrale Signatur dient der automatisierten Klassifikation und Änderungsdetektion. Die vorliegende Arbeit untersucht den Einfluß, den die Neigung einer Oberfläche auf ihre spektrale Signatur ausübt.

Ein Großteil der multispektralen Auswertungstechniken geht von Lambert'schen Oberflächen aus. Das sind solche, deren spektrale Signaturen nicht von der Beobachtungsrichtung des Sensors abhängen. Durch Spektrometermessungen an ausgewählte Oberflächen zeigt diese Arbeit, daß auch Lambert'sch reflektierende Flächen durch Änderung ihrer Oberflächenorientierung eine deutliche Änderung ihrer spektralen Signatur erfahren. Diese Änderung betrifft sowohl die Helligkeit (Höhe) als auch die Farbe (Verlauf) des Spektrums. Diese Orientierungsabhängigkeit führt dann in der Auswertung von fernerkundeten Multispektralbildern zu fehlerhaften Ergebnissen.

In der Analyse der Spektrometermessungen kann gezeigt werden, daß die Variabilität der spektralen Signaturen durch zwei Hauptkomponenten dargestellt werden kann, die auf die Reflexion von direktem Sonnenlicht einerseits und indirektem Himmelslicht andererseits zurückgeführt werden können. Die Anteile dieser beiden Komponenten können im allgemeinen nicht bestimmt werden. Diese unbekannte spektrale Zusammensetzung der Beleuchtung ist als das Farbkonstanzproblem bekannt.

Mit Hinblick auf die automatisierte Bildauswertung wird hier eine mathematische Abbildung entwickelt, die sich den logarithmischen Spektralraum zunutze macht, um ein beliebiges beobachtetes Spektrum auf einen spektralen Deskriptor zu projizieren, der invariant gegen den spektralen Einfluß der Oberflächenneigung sowie Eigen- und Schlagschatten ist. Diese invariante spektrale Signatur kann durch eine rechenzeitgünstige pixelweise Matrixmultiplikation errechnet werden [O(N^2)].

Die Vorteile der Invarianten werden anhand von simulierten Spektren und echten fernerkundeten Multispektralbildern gezeigt. Die Empfindlichkeit der Projektion gegenüber zufälligen und systematischen Fehlern wird im Rahmen der Fehlerfortpflanzung ausführlich untersucht.


Rafael Wiemker