Tone Mapping
# Tone Mapping

Tone Mapping, Tone Reproduction oder Dynamikkompression sind synonyme Begriffe, die die Kompression des Dynamikumfangs von Hochkontrastbildern (high dynamic range images) bezeichnen, also von digitalen Bildern mit hohem Helligkeitsumfang. Beim Tone Mapping wird der Kontrastumfang eines Hochkontrastbildes verringert, um es auf herkömmlichen Ausgabegeräten darstellen zu können.

## Physiologischer Hintergrund

In der Natur kommt ein Dynamikumfang (Verhältnis von größter und kleinster Leuchtdichte) von über $10^9:1$ vor, wenn man das Sonnenlicht mit dem Sternenlicht vergleicht. Der zu einem bestimmten Zeitpunkt typischerweise beobachtete Dynamikumfang liegt in der Größenordnung von 1:10.000. Die menschliche visuelle Wahrnehmung löst das Tone-Mapping-Problem, da sie in der Lage ist, sich den vorherrschenden Helligkeitsverhältnissen anzupassen. Auf unterschiedliche absolute Helligkeitsbedingungen (photopisch, mesopisch, skotopisch) reagiert das Auge nichtlinear.

Viele Tone-Mapping-Verfahren basieren auf den Erkenntnissen über die menschliche visuelle Wahrnehmung, da ihr Ziel darin besteht, ein möglichst naturgetreu wirkendes Bild zu berechnen. Die wichtigste Rolle spielen dabei die Fotorezeptoren, deren Adaptation sich nach der Naka-Rushton-Gleichung wie folgt beschreiben lässt:

    ${\frac {R}{R_{\mathrm {max} }}}={\frac {I^{n}}{I^{n}+\sigma _{\mathrm {b} }^{n}}}$

Hierbei ist $R$ die Fotorezeptor-Reizstärke, $R_{\mathrm {max} }$ ist die maximale Reizstärke, $I$ ist die Lichtstärke und $\sigma _{\mathrm {b} }$ die Lichtstärke, die die halbe Reizstärke bei der vorherrschenden Hintergrundintensität hervorruft. Mehrere Tone-Mapping-Verfahren basieren auf einer Gleichung, die dieser ähnelt.

## Verfahren

Es existieren zahlreiche Tone-Mapping-Operatoren, die sich jedoch nur in wenige grundlegend verschiedene Klassen einteilen lassen. Sogenannte globale Operatoren verwenden eine Funktion, die jedem HDR-Wert einen dynamikkomprimierten Wert zuweist und die auf jedes Pixel angewandt wird. Im Gegensatz dazu wird bei lokalen Operatoren diese Funktion für jedes Pixel je nach lokalem Adaptationsniveau variiert. Frequenzbasierte Operatoren nutzen eine grundlegend andere Technik, bei der der Dynamikumfang von Bildregionen je nach Ortsfrequenz reduziert wird. Schließlich gibt es noch gradientenbasierte Operatoren, die die Helligkeitsgradienten des Ausgangsbildes für jedes Pixel abschwächen, um das LDR-Bild (Bild mit geringem Helligkeitsumfang) zu erzeugen.

Viele Operatoren erwarten, dass die Werte des Ausgangsbildes als Leuchtdichte in einer bestimmten Einheit (cd/m²) kalibriert sind. Das liegt daran, dass die nichtlineare Wahrnehmung von absoluten Helligkeiten berücksichtigt wird; eine Tageslichtszene wird demnach anders dargestellt als eine Nachtszene. Es ist jedoch oft möglich, die originalen Lichtverhältnisse direkt anhand des HDR-Bildes zu rekonstruieren, indem das Histogramm ausgewertet wird. Die meisten Tone-Mapping-Verfahren ignorieren die Farbwahrnehmung weitgehend und wenden den neuen Helligkeitswert auf alle Kanäle gleich an.

### Globale Operatoren

Globale Operatoren verarbeiten die Pixel des Ausgangsbildes unabhängig voneinander. Sie sind schneller als andere Verfahren und können oft in Echtzeit ausgeführt werden. Allerdings eignen sie sich weniger gut für Szenen mit sehr großem Dynamikumfang, da sie eher dazu neigen, in sehr hellen und sehr dunklen Bereichen Details zu verlieren.

Viele globale Operatoren basieren auf Adaptationsmodellen, bei denen die Hintergrundintensität bekannt sein muss. Diese Intensität kann abgeschätzt werden, indem das arithmetische Mittel der Pixelwerte berechnet wird, das geometrische Mittel ist jedoch die bevorzugte Methode.

Der einfachste globale Operator rechnet die Werte des Ausgangsbildes linear auf den Dynamikumfang des LDR-Bildes herunter. Dieses Verfahren ist jedoch unzureichend, da Details und Kontrast verlorengehen.

**Miller**


    Der erste globale Tone-Mapping-Operator wurde 1984 von Miller und Hoffmann vorgestellt. Das Ziel bestand darin, gerenderte HDR-Bilder für das architektonische Lichtdesign darzustellen. Dazu wird das Ausgangsbild zunächst in empfundene Helligkeitswerte umgewandelt. Helligkeitsverhältnisse verschiedener Bildbereiche sollen dabei gleich bleiben. Dies wird erreicht, indem die Helligkeiten normalisiert und anschließend in Luminanzwerte umgewandelt werden. Die Helligkeit-Luminanz-Beziehung basiert auf psychophysikalischen Daten, die nur bis ca. 1000 cd/m² gültig sind, sich also nur für Innenraum-Szenen eignen.

**Tumblin-Rushmeier**


    Tumblin und Rushmeiers Operator auf den gleichen psychophysikalischen Daten wie Millers Verfahren. Allerdings wird eine etwas andere Helligkeitsfunktion als bei Miller verwendet. Im Gegensatz zu Miller versucht der Tumblin-Rushmeier-Operator nicht die Helligkeitsverhältnisse, sondern die Helligkeitswerte selbst zu erhalten.

**Ward**


    Wards Operator gehört zu den Tone-Mapping-Verfahren, die sich nicht auf die Helligkeitswahrnehmung konzentrieren, sondern versuchen, Kontraste beizubehalten. Dabei werden die beim Betrachten des Ausgangsbildes wahrgenommenen JND-Werte über eine Threshold-versus-Intensity-Funktion („Schwellwert gegen Intensität“) mit den entsprechenden JNDs im LDR-Bild in Beziehung gesetzt. Die Ausgangswerte werden mit einem so ermittelten konstanten Faktor skaliert.

**Ferwerda**


    Auch der Operator von Ferwerda et al. versucht, JNDs in Beziehung zu setzen. Er arbeitet ebenfalls linear, berücksichtigt aber im Gegensatz zu Ward eine skotopische Komponente. Auch der Schärfeverlust bei dunklen Szenen wird berücksichtigt, indem Bildfrequenzen über einem Schwellenwert gefiltert werden.

**Drago**


    Dragos Operator nutzt die Tatsache, dass das menschliche visuelle System auf Intensität in erster Annäherung logarithmisch reagiert. Die Basis des Logarithmus wird für jedes Pixel unterschiedlich gewählt, so dass hellere Bereiche stärker komprimiert werden.

**Reinhard und Devlin**


    Außerhalb eines bestimmten Bereichs ist die Reizstärke des visuellen Systems nicht mehr logarithmisch. Der Operator von Reinhard und Devlin basiert auf den Ergebnissen elektrophysiologischer Experimente, die nahelegen, dass Fotorezeptoren auf Intensität gemäß einer Sigmoidfunktion ansprechen. Der Operator wird auf die verschiedenen Farbkanäle einzeln angewandt.

**Ward (Histogram Adjustment)**


    Wards Histogram-Adjustment-Technik berechnet ein Histogramm aus dem Logarithmus der Pixelwerte. Das Tone Mapping basiert auf dem so berechneten Histogramm, wobei darauf geachtet wird, dass der Kontrast beibehalten wird und dass die visuelle Wahrnehmung berücksichtigt wird. In einem Nachbearbeitungsschritt werden Aspekte wie Glare, Farbempfindlichkeit und Schärfe berücksichtigt. Diese Faktoren machen besonders bei Nachtszenen einen großen Unterschied.

**Schlick**


    Dieses Verfahren, genannt Uniform rational quantization, verwendet eine Sigmoid-ähnliche Funktion. Der Operator ist durch zwei benutzerdefinierte Parameter konfigurierbar, deren Wirkung jedoch schwer intuitiv abzuschätzen ist.

**Reinhard**


    Die von Reinhard und anderen veröffentlichte Methode basiert auf den in der Fotografie genutzten Tone-Mapping-Techniken, insbesondere dem Zonensystem. Wie in der modernen Fotografie werden vor allem helle Regionen komprimiert. Für diesen Operator gibt es auch eine lokale Variante (siehe unten).

### Lokale und frequenzbasierte Operatoren

Lokale Operatoren können eine große Klasse von HDR-Bildern verarbeiten, da sie einen größeren Dynamikumfang darstellen können, ohne Details zu verlieren. Sie gehen davon aus, dass die menschliche Helligkeitswahrnehmung sich nicht dem gesamten Bild anpasst, sondern nur kleineren Regionen.

Um den lokalen Helligkeitswert für jedes Pixel zu berechnen, kann ein radialer Filter verwendet werden, der auf die Nachbarpixel angewandt wird. Diese Methode führt jedoch zu Halo-Artefakten und Kontrastumkehrungen nahe Kanten, da dort zu große Helligkeitsunterschiede innerhalb des Filterradius vorherrschen. Um dieses Problem zu umgehen, können unterschiedliche Methoden verwendet werden:

* Eine Möglichkeit besteht darin, den Filterradius zu variieren. Der Radius des Filters wird, ausgehend vom Wert 1, so lange verdoppelt, bis die Pixel der Kante das Ergebnis verfälschen, also wenn der neue Mittelwert von alten um einen bestimmten Wert abweicht.
* Eine andere Möglichkeit ist die bilaterale Filterung. Hierbei wird mittels radialem Filter nicht nur in Abhängigkeit von der Entfernung zum zentralen Pixel, sondern auch in Abhängigkeit von der absoluten Differenz der Helligkeitswerte gefiltert. Pixel, deren Werte sich stark von dem des zentralen Pixels unterscheiden, haben dadurch nur wenig Einfluss auf das Ergebnis. Durand und Dorsey verwenden für beide Faktoren Gaußfunktionen; Pattanaik und Yee verwenden für den radialen Faktor eine Zylinderfunktion und für den Helligkeits-Faktor eine Exponentialfunktion.
* Die bilaterale Filterung tendiert dazu, abrupte Änderungen des Helligkeitsgradienten weichzuzeichnen. Andererseits werden kurvige Bereiche und Regionen mit hohem Gradienten nicht genügend weichgezeichnet. Choudhury und Tumblin haben mit der trilateralen Filterung eine Erweiterung vorgestellt, die auch Helligkeitsgradienten berücksichtigt.

Zur Bestimmung des optimalen Filterradius kann eine Reihe von Tiefpass-gefilterten Versionen des Ausgangsbildes verwendet werden.

Frequenzbasierte Operatoren teilen das Ausgangsbild in ein gefiltertes HDR-Bild mit geringen Ortsfrequenzen und ein ungefiltertes LDR-Bild mit hohen Frequenzen auf, die anschließend kombiniert werden. Allerdings kann das gefilterte Bild auch so interpretiert werden, dass jedes Pixel einen lokalen Adaptationswert liefert. Daher lässt sich nicht immer klar zwischen lokalen und frequenzbasierten Operatoren trennen.

**Chiu**


    Chiu et al. waren die ersten, die die Vorteile eines je nach Bildregion variierenden Operators erkannten. Da ihr Verfahren nur einen einfachen Gauß-Filter verwendet, sind starke Halo-Effekte zu erwarten.

**Rahman**


    Rahman und Jobsons Arbeit basiert auf der Retinex-Theorie. Der Operator wird auf die Farbkanäle einzeln angewandt. In der einfachen Variante ähnelt das Verfahren Chius Operator, arbeitet aber im logarithmischen Bereich. In der komplexeren Variante berechnet der Rahman-Operator das LDR-Bild aus einer gewichteten Summe von verschiedenen, unterschiedlich stark weichgezeichneten Versionen des Ausgangsbildes. Die Gewichtung der Bilder wird durch einen benutzerdefinierten Parameter kontrolliert.

**Fairchild**


    Fairchilds iCAM ist ein Farbwahrnehmungsmodell, das als Verfeinerung des CIECAM02-Modells die chromatische Adaption berücksichtigt. Mittels eines Parameters lässt sich ein Kompromiss zwischen Dynamikkompression und Halo-Effekten einstellen. Der Operator arbeitet mit absoluten, kalibrierten Helligkeitswerten. Bei zu geringen Werten kommt es zu einer rötlichen Farbverschiebung, bei zu hohen Werten wird ein zu dunkles Bild berechnet.

**Pattanaik**


    Auch Pattanaiks Operator ist im Grunde ein Farbwahrnehmungsmodell. Das Modell ist sehr aufwändig und eignet sich vor allem für Bilder mit extremem Dynamikumfang.

**Ashikhmin**


    Ashikhmins Operator versucht, viele Schritte der visuellen Wahrnehmung, die für die Dynamikkompression relevant sind, einzubeziehen. Durch einen variablen Filterradius wird versucht, bei der Dynamikkompression den Kontrast beizubehalten.

**Reinhard**


    Von Reinhards Tone-Mapping-Operator existiert eine lokale Variante, die in der Wirkung ähnlich wie das in der Fotografie verwendete Abwedeln arbeitet.

**Pattanaik**


    Pattanaik und Yees Tone-Mapping-Operator verwendet einen Weichzeichnungsfilter, der Kanten beibehält. Mit dieser Methode werden Halos deutlich reduziert.

**Yee**


    Viele HDR-Bilder enthalten große Bereiche, die entweder hell oder dunkel sind. Yee und Pattanaiks Operator basiert auf der Segmentierung der Bilder in derartige Regionen mit annähernd gleicher Helligkeit, indem das Histogramm ausgewertet wird. Für jede Bildregion wird ein unterschiedliches Adaptationsniveau verwendet.

**Oppenheim**


    Oppenheim et al. waren die ersten, die die Dynamikkompression für Bilder erforschten. Ihr Operator berechnet zunächst den Logarithmus für jeden Pixelwert. Anschließend wendet er eine schnelle Fourier-Transformation an, um zwischen niedrigen und hohen Frequenzen zu trennen, die unterschiedlich stark abgeschwächt werden. Das Verfahren geht davon aus, dass die Oberflächen der Szene diffus sind; für andere Bilder liefert es möglicherweise unzufriedenstellende Ergebnisse.

**Durand**


    Durand und Dorsey wenden bilaterale Filterung an, um Kanten zu erhalten, aber Innenbereiche weichzuzeichnen.

**Choudhury**


    Choudhury führte mit der trilateralen Filterung eine Erweiterung ein, die auch Intensitätsgradienten berücksichtigt.

**iCAM06**


    iCAM06 ist ein aufwändiges Wahrnehmungsmodell, das die Signalverarbeitung des visuellen Systems imitiert und eine Vielzahl von Effekten der visuellen Wahrnehmung berücksichtigt. Im Gegensatz zum älteren iCAM-Modell ist es speziell zur Dynamikkompression von HDR-Bildern entwickelt worden. Der Operator basiert auf der bilateralen Filterung.

### Gradientenbasierte Operatoren

Diese Klasse von Tone-Mapping-Operatoren berechnet die Gradienten des Ausgangsbildes und schwächt sie ab.

**Horn**


    Horns Methode berechnet die Gradienten des Bildes mittels Vorwärtsdifferenzierung und setzt Gradienten, deren Stärke unter einem Schwellenwert liegt, auf 0. Um das LDR-Bild zu erhalten, muss das Gradientenfeld durch numerische Lösung einer Differentialgleichung integriert werden.

**Fattal**


    Fattals Tone-Mapping-Operator wendet eine Komprimierungsfunktion auf das Gradientenfeld an, die stärkere Gradienten mehr als schwächere verringert. Dadurch werden feine Details beibehalten, während größere Helligkeitsgradienten abgeschwächt werden. Der Operator ist durch zwei Parameter konfigurierbar, mit denen sich ein Kompromiss zwischen starker Kompression und Detailtreue einstellen lässt.

### Vergleich

Tone-Mapping-Operatoren unterscheiden sich in Geschwindigkeit, Vorhandensein und Stärke von Artefakten, Beibehaltung von Bilddetails sowie der Fähigkeit, HDR-Bilder mit sehr großem Dynamikbereich komprimieren zu können. Einige Studien befassen sich mit dem Vergleich von Tone-Mapping-Verfahren. Die Internationale Beleuchtungskommission hat das Arbeitskomitee TC8-08 gebildet, um Methoden zur Validierung von Tone-Mapping-Operatoren zu entwickeln. Beim visuellen Vergleich verschiedener Operatoren ergibt sich die Schwierigkeit, dass Änderungen an Parametern große Auswirkungen auf das Ergebnis haben können.

