Strukturelle Ähnlichkeit
Der Index struktureller Ähnlichkeit (englisch structural similarity, SSIM) ist eine Methode zur Schätzung der wahrgenommenen Qualität digitaler Fernseh- und Kinobilder sowie anderer Sorten digitaler Bilder und Videos.

SSIM wird zur Messung der Ähnlichkeit zwischen zwei Bildern verwendet. Der SSIM-Index ist eine Metrik mit vollständiger Referenz; in anderen Worten: Die Messung oder Schätzung der Bildqualität basiert auf einem unkomprimierten oder störungsfreien Ursprungsbild als Bezug. SSIM wurde entwickelt um eine Verbesserung gegenüber herkömmlichen Methoden wie Spitzen-Signal-Rausch-Verhältnis (englisch peak signal-to-noise ratio, PSNR) und mittlerer quadratischer Abweichung (englisch mean squared error, MSE) zu bieten, welche wenig Übereinstimmung mit menschlicher visueller Wahrnehmung bewiesen haben. Mittlerweile stehen deutlich leistungsfähigere Verfahren zur Verfügung (zum Beispiel PSNR-HVS-M und VQM_VFD).

Geschichte 
Die erste Version von SSIM namens Universeller Qualitäts-Index (UQI) oder Wang-Bovik-Index wurde 2001 von Zhou Wang und Alan Bovik im Laboratory for Image and Video Engineering (LIVE) der The University of Texas at Austin entwickelt. Er wurde anschließend in Zusammenarbeit mit Hamid Sheikh und Eero Simoncelli von der New York University zur heutigen Version von SSIM abgewandelt (heute existieren viele Variationen) und in einer gedruckten wissenschaftlichen Arbeit mit dem Titel Image quality assessment: From error visibility to structural similarity veröffentlicht, die im April 2004 in den IEEE Transactions on Image Processing erschien.

Die SSIM-Veröffentlichung von 2004 wurde Google Scholar zufolge über 10.000 Mal zitiert, womit sie in der Bildverarbeitung und Videotechnik eine der meistzitierten Arbeiten aller Zeiten ist. Es wurde von der IEEE Signal Processing Society mit dem Best Paper Award des Jahres 2009 bedacht. Den Erfindern von SSIM wurde 2015 jeweils ein Primetime Engineering Emmy Award zuerkannt.

Nach der ersten Veröffentlichung im Jahr 2002 markierten SSIM und seine Varianten eine Zeitlang den Stand der Technik bei der automatisierten Schätzung menschlichen Qualitätsempfindens. Seit 2007 steht mit der auf Spitzen-Signal-Rausch-Verhältnis (PSNR) basierenden und um Kontrastwahrnehmungs- und Maskierungskriterien erweiterten Metrik PSNR-HVS-M ein Algorithmus zur Verfügung, der in Vergleichen mit menschlichen Probanden wesentlich besser abschneidet.

Strukturelle Ähnlichkeit 
Der Unterschied in Bezug auf ältere erwähnte Techniken wie MSE oder PSNR ist, dass diese Ansätze absolute Fehler schätzen, während SSIM dagegen ein wahrnehmungsbasiertes Modell darstellt, das Bildfehlerzunahme als wahrgenommene Änderung in der Strukturinformation betrachtet, wobei auch wichtige wahrnehmungspsychologische Phänomene einbezogen werden, einschließlich Termen für Helligkeitsmaskierung und Kontrastmaskierung. Strukturinformation ist das Konzept, dass die Werte besonders räumlich naher Bildpunkte starke Übereinstimmungen aufweisen. Diese Abhängigkeiten tragen wichtige Information über die Struktur des Objektes in der Bildszene. Helligkeitsmaskierung ist ein Phänomen, das Bildstörungen (in diesem Zusammenhang) in hellen Bildbereichen tendenziell weniger auffällig erscheinen lässt, während Kontrastmaskierung ein Phänomen ist, das Störungen in Bildbereichen mit nennenswerter Aktivität oder Strukturierung weniger auffällig erscheinen lässt.

Algorithmus 
Der SSIM-Index wird über verschiedene Bildteile („Fenster“) berechnet. Die Differenz zwischen zwei Fenstern  und  von gleicher Größe N×N ist:
 
mit
  dem Mittelwert von 
  dem Mittelwert von ;
  der Varianz von 
  der Varianz von 
  der Kovarianz von  und 
 ,  zwei Variablen zur Stabilisierung der Division bei kleinen Nennern
  dem Dynamikumfang der Bildpunktwerte (typischerweise ist das )
  und 
Zur Beurteilung der Bildqualität wird diese Formel gewöhnlich nur auf die Helligkeitskomponente angewendet, wobei sie auch auf Farbwerte (zum Beispiel RGB) angewendet werden kann oder Chrominanzwerte (zum Beispiel YCbCr). Der resultierende SSIM-Index ist ein dezimaler Wert zwischen 0 und 1 und der Wert 1 ist nur im Falle zweier identischer Datensätze erreichbar. Typischerweise wird er auf Fenstergrößen von 8×8 Bildpunkten berechnet. Das Fenster kann Punkt für Punkt über das Bild verschoben werden, jedoch empfehlen die Autoren nur eine Untergruppe der möglichen Fenster zu verwenden, um die Komplexität der Berechnung zu verringern.

Der SSIM-Index kann verallgemeinert werden, indem drei Komponenten für den Vergleich der Ähnlichkeit berücksichtigt werden, nämlich Leuchtdichte, Kontrast und Struktur. Für diese Komponenten können Vergleichsfunktionen mit folgenden Eigenschaften definiert werden:

 Symmetrie:  für alle  und 
 Beschränktheit:  für alle  und 
 Eindeutiges Maximum:  genau dann, wenn 

Die Vergleichsfunktion für die Leuchtdichte ist
 
wobei die Konstante  enthalten ist, um Instabilität zu vermeiden, wenn  fast 0 ist.

Die Vergleichsfunktion für den Kontrast ist
 

Ein wichtiges Merkmal dieser Funktion ist, dass sie bei gleicher Kontraständerung  bei hohem Basiskontrast  weniger empfindlich ist als bei niedrigem Basiskontrast.

Das Skalarprodukt zwischen den Einheitsvektoren  und  ist ein einfaches und effektives Maß, um die strukturelle Ähnlichkeit zu quantifizieren. Die Korrelation zwischen  und  entspricht dem Korrelationskoeffizienten zwischen  und . Daher wird die Vergleichsfunktion für die Struktur wie folgt definiert:
 

Es ist leicht zu erkennen, dass die Vergleichsfunktionen , ,  jeweils die drei oben aufgeführten Eigenschaften erfüllen. Indem diese drei Vergleichsfunktion kombiniert werden, ergibt sich der SSIM-Index:
 

wobei , ,  Parameter sind, die verwendet werden, um die relative Bedeutung der drei Komponenten anzupassen. Für  und  ergibt sich die oben genannte spezielle Form des SSIM-Index.

Varianten

Mehrskalen-SSIM 
Eine fortgeschrittenere Form der SSIM, die Mehrskalen-SSIM wird über mehrere Skalen in einem Prozess mit mehrstufiger Verringerung der Abtastung durchgeführt, der an die Mehrskalen-Verarbeitung im frühen Sehsystem erinnert. Die Leistung von sowohl SSIM als auch Mehrskalen-SSIM war seinerzeit sehr hoch in Bezug auf Übereinstimmung mit menschlicher Beurteilung (gemessen an weithin genutzten öffentlichen Bildqualitätsdatenbanken einschließlich der LIVE Image Quality Database und der TID-Datenbank).

Strukturelle Unähnlichkeit 
(structural dissimilarity, DSSIM) ist eine von SSIM abgeleitete (wobei die Dreiecksungleichung nicht notwendigerweise erfüllt ist) Distanzmetrik.

Videoqualitätsmetriken 
Die ursprüngliche Version von SSIM wurde für die Beurteilung der Qualität von Standbildern entworfen. Sie enthält keine Parameter, die sich direkt auf zeitliche Aspekte menschlicher Wahrnehmung und Beurteilung bezögen. Es wurden allerdings einige Varianten von SSIM entwickelt, die zeitliche Phänomene berücksichtigen.

Eine einfache Anwendung von SSIM zur Beurteilung von Videoqualität wäre die Berechnung des durchschnittlichen SSIM-Wertes über alle Einzelbilder der Videosequenz.

Complex Wavelet SSIM 
Complex Wavelet SSIM wurde entwickelt, um Probleme der Skalierung, Translation und Rotation zu behandeln. Anstatt Bildern mit solchen Bedingungen niedrige Bewertungen zu geben, nutzt Complex Wavelet SSIM die komplexe Wavelet-Transformation und liefert daher den Bildern höhere Bewertungen. Complex Wavelet SSIM ist wie folgt definiert:
 
wobei  die komplexe Wavelet-Transformation für das Signal  ist und  die komplexe Wavelet-Transformation für das Signal  ist. Außerdem ist  eine kleine positive Zahl, die aus Gründen der Funktionsstabilität verwendet wird. Idealerweise sollte  sein. Wie das SSIM hat CW-SSIM einen Maximalwert von 1. Der Maximalwert von 1 zeigt an, dass die beiden Signale gleich sind, während ein Wert von 0 keine strukturelle Ähnlichkeit anzeigt.

Diskussion der Leistung 
Eine Veröffentlichung von Dosselmann und Yang legt nahe, dass SSIM nicht so genau ist, wie behauptet wird. Sie behaupten, dass SSIM Werte liefert, die nicht besser mit menschlicher Bewertung übereinstimmen als MSE-Werte (Mittlere quadratische Abweichung).

Sie zweifeln die wahrnehmungspsychologische Grundlage von SSIM an, indem sie behaupten, dass die Formel keinerlei ausführliches Modell der visuellen Wahrnehmung enthält und dass sich SSIM möglicherweise auf wahrnehmungsferne Berechnungen stützt. Beispielsweise berechnet das menschliche Sehsystem kein Produkt zwischen den Durchschnittswerten der beiden Bilder.

Wie allerdings in der ursprünglichen Arbeit von 2004 gezeigt wurde, umfassen SSIM-Modell und -Algorithmus Modelle zentraler Elemente der Wahrnehmung von Bildstörungen, einschließlich den Mechanismen der Helligkeitsmaskierung und Kontrastmaskierung.

Weblinks 
 offizielle Webpräsenz
 C-Implementierung
 C/C++-Implementierung
 DSSIM-C++-Implementierung
 qpsnr-Implementierung (multi threaded C++)
 Implementierung in VQMT-Software

Einzelnachweise 

Bildverarbeitung