Inwieweit kann man den Tests von DxO trauen?

1. offizieller Beitrag
    • Offizieller Beitrag

    Ich dachte, es ist wohl sinnvoller, das Thema aus dem E-PL5-Thread mal auszugliedern:


    Arie schrieb dort:

    Zitat

    Ich weiß nicht, ob man den DXO-Werten so vertrauen kann. Angeblich messen die ja auf Sensor-Ebene. Was bedeutet, wie gut der Sensor tatsächlich ist. Entscheidend ist für mich aber, was hinten raus kommt. Und da ist bspw. die 5DMk3 - zumindest verglichen mit meiner D700 - nicht schlecht, eher besser. Wenn man die aktuellen Sensoren vergleicht, wäre Canon nach DXO ja grottenschlecht. Das kann ich so nicht glauben.


    Darauf antwortete ich:

    Zitat

    Ja, die DxO-Tests muss man richtiggehend "deuten" können. Nur mal als Beispiel: Zur Messung des Dynamikumfangs wird das Bild auf 8MP herunterskaliert, dann werden die Schatten so weit aufgehellt, bis das S/N-Verhältnis gleich null ist. Natürlich erhält man nur auf die Art einfache, vergleichbare Zahlenwerte, an denen man die Sensorleistung festmachen möchte. Aber wie praxisrelevant das ganze ist, steht auf einem anderen Blatt. Ich denke bspw. dass man die Sensoren, die grundsätzlich mehr Reserven in den Lichtern als in den Schatten haben, ja von vornherein auch anders belichten würde, wodurch sich ohnehin ein anderes S/N-Verhältnis ergibt, oder?


    Die Quelle zu den DxO-Messverfahren gibt es hier zum Nachlesen, ein Auszug daraus:

    Zitat

    Maximum dynamic range is the greatest possible amplitude between light and dark details a given sensor can record, and is expressed in EVs (exposure values) or f-stops, with each increase of 1 EV (or one stop) corresponding to twice the amount of light.
    Dynamic range corresponds to the ratio between the highest brightness a camera can capture (saturation) and the lowest brightness it can capture (typically when noise becomes more important than the signal, i.e., a signal-to-noise ratio below 0 dB).


    Und um zu vedeutlichen, was ich eigentlich meinte, will ich das mal an einem rein theoretischen Beispiel festmachen:
    Angenommen wir haben zwei Sensoren mit unterschiedlichen Schwerpunkten beim Dynamikumfang. Der eine hat x Blenden Reserven in den Schatten und dafür nichts mehr in den Lichtern, der andere x Blenden in den Lichtern und dafür keine Reserven in den Schatten. Der Fotograf weiß gewöhnlich um die Stärken seines Sensors, also wird er den ersten Sensor auf die Lichter belichten und nachträglich die Schatten aufhellen und es beim anderen Sensor eben umgekehrt handhaben. Geht man nun hin und versucht nun bei beiden gemäß DxO den Dynamikumfang zu ermitteln, würde man also die Schatten des ersten Sensors so weit hochziehen, bis das Rauschsignal nicht mehr vom Nutzsignal zu unterscheiden ist. Beim Sensor mit dem gleichen Blenden-Potential in den Lichtern würde man hingegen die Lichter um die entsprechenden EV-Werte zurückholen.
    Was wären das aber für Bilder im Endergebnis? Beim ersten Sensor ergibt das ein Bild mit völlig verrauschten Schattenbereichen, beim zweiten Sensor hingegen ein Bild mit sauberen Schatten und sauber wiederhergestelltern Lichtern, da beginnt ja nichts zu rauschen. Gemäß DxO haben auf dem Papier aber beide Sensoren den genau gleichen Dynamikumfang.
    Dazu kommt noch die einheitliche Verkleinerung auf 8MP, die DxO zur Messung vornimmt. Auch hier profitiert nur der Sensor mit den Reserven in den Schatten, denn durch die Verkleinerung verringert sich auch das Rauschen, beim Retten von Lichtern habe ich durch so eine Verkleinerung aber keine Vorteile.


    Natürlich ist das rein hypothetisch, aber es gibt in der Praxis eben doch Unterschiede bei den Schatten-/Lichter-Reserven. Den Canon-Sensoren sagt man bspw. nach, mehr Reservern in den Lichtern zu haben, selber testen konnte ich das aber nicht. Mein persönlicher Hintergrund der ganzen Sache war, dass ich mich früher sehr für den Sensor der Fuji S5Pro begeistert habe und damals einige Vergleichsaufnahmen gesehen habe, die mit/ohne Einbeziehung der zusätzlichen, lichtschwachen R-Pixel gemacht waren. Was die S5Pro aus den Lichtern zu holen vermag ist wirklich unglaublich und auch wenn ich mich über die Schatten-Reserven des D7000-Sensors immer wieder freue, glaube ich nicht, dass das im Endeffekt mit dem mithalten kann, was man aus einem S5Pro-Sensor holen kann, welcher laut DxO aber etwas schlechter abschneidet.


    Deswegen meine ich, dass die Tests von DxO grundsätzlich mit Vorsicht zu genießen sind, von den angeblichen >14EV Dynamikumfang heutiger Sony-Sensoren bleibt in der Praxis wohl nicht so viel übrig, auch wenn sie unbestritten einen hohen Dynamikumfang haben. Und umgekehrt werden Sensoren, die ihre Reserven mehr in den Lichtern haben und dementsprechend belichtet werden, in meinen Augen zu Unrecht abgewertet.


    Oder mache ich da irgendwo einen Denkfehler... :???:

    Was mir auf dieser Seite auffällt, dass die Nikon Kameras dort immer besser abschneiden wie die Canons.


    Eine Einstiegs-DSLR wie die D3200 hält - abgesehen vom HiISO - mit einer 5DII oder III mit, während die Nikon Vollformate den Canons in jeder Hinsicht - auch bei HiISO - um Längen davonziehen.


    Man könnte fast den Eindruck kriegen, die Tests sind für die Nikons optimiert - oder umgekehrt... ;)


    Eine Canon G1X wiederum müsste, wenn man die Tests in anderen Zeitschriften oder Websites heranzieht, eigentlich - insbesondere im Hinblick auf HiISO - besser dastehen, als sie es tut.

    Fuji X-A1 mit XC 16-50 3.5-5.6......Fuji X-A1 mit XC 50-230 4.5-6.7.....Panasonic DMC-FZ1000........Canon SX50 HS...Canon SX130 IS...Kodak C875

    Zitat

    >14EV Dynamikumfang heutiger Sony-Sensoren bleibt in der Praxis wohl nicht so viel übrig


    Nur in der Nachbearbeitung. Ich habe mal ein Vergleichsfoto 5D MK I gegen D600 gemacht, unbearbeitet aus RAW sieht man von dem höhreren Dynamikumfang erst mal gar nichts. Aus meiner pers. Erfahrung ist es aber deutlich einfacher/praktischer wenn man mehr Reserven in den Schatten hat als bei den Lichtern, besonders ist mir das bei Langzeitbelichtungen aufgefallen wo ich bei der 5er schon bei ca. 2 Blenden Banding hatte.


    Ach ja, Praxis, der Dynamikumpfang nimmt ja bei höheren ISO auch ab.

    ...Das Testprozedere lässt ja nur zu, dass du einen Punkt findest, bei welchem noch Zeichnung in den Lichtern vorhanden ist. Von dem Punkt bewegst du dich dann in den Schatten. Der Schatten wird bei allen Sensoren gleich an ein bestimmtes Maximum gefahren, womit sie alle gleich rauschen.


    In der Praxis heißt das, dass der Sensor, der in den Lichtern mehr Reserven hat, stärker belichtet werden kann und der in den Schatten mehr Reserven hat, wird spärlicher belichtet. entscheidend ist nur die Spanne die zwischen weiß und schwarz liegt. Hat der Sony Sensor also die Fähigkeit, die Schatten besser zu verarbeiten, so heißt das nicht das er mehr rauscht, denn die Mitten und Helligkeiten sind davon ja nicht betroffen.


    Der von dir genannte Effekt würde eintreten, wenn beide Sensoren die exakt gleiche Dynamik hätten, nur mit unterschiedlichen Stärken. Die Sony Sensoren sind aber inzwischen zwei Blendstufen vor den besten Canons und da kannst du dann eher von Schattenbonus bei ähnlicher Lichterverabreitung sprechen.


    Wir nutzen die Sensoren ja nicht so aus, wie bei den Messungen, es zeigt nur die maximalen Werte.


    Ich kann die Beobachtungen vom Wuschler nur bestätigen, da wo meine Canon beim Schattenaufhellen schon Banding und böses Farbrauschen zeigt, war selbst das Aufhellen der Daten vom mFT Sony Sensor besser. Das Farbrauschen ist besser kontrolliert und Banding tritt so spät auf, dass man dann eher vom Rauschen zuviel hat. Aber dazu muss ich mehr machen, als bei der Canon. Mir ist das bei einigen Panoramen aufgefallen, dass der Vorteil schon erheblich ist... .

    Zitat von "PhilippV3"

    Was die S5Pro aus den Lichtern zu holen vermag ist wirklich unglaublich und auch wenn ich mich über die Schatten-Reserven des D7000-Sensors immer wieder freue, glaube ich nicht, dass das im Endeffekt mit dem mithalten kann, was man aus einem S5Pro-Sensor holen kann, welcher laut DxO aber etwas schlechter abschneidet.


    Mein DXO zeigt bei der S5 durchaus mehr Blenden an, z.B. 13 bei 800 ASA, während die D7000 da nur 11 schaffen soll, laut DXO. Insofern scheinen mir hier Thorie und Praxis schon zusammen zu passen.


    Ich glaube auch, daß man bei gleichen Dynamik Werten zu gleichen Ergebnissen aus einem RAW kommen kann. Belichtung und EBV müssen aber an den jeweiligen Sensor angepasst werden.

    Und (wie sie sogar selber schreiben) hat eine Kamera mit 24 oder 32 MP gewaltige Voteile im Rauschetest,
    wenn für die Messung immer auf 8MP runterskaliert und gedruckt wird. So hat die Kamera mit 24MP (wie eine NEX 7)
    3 Pixel für einen auf dem Print, erhält somit eine logischerweise bessere Bewertung der Auflösung aber auch das Rauschen geht unter.
    Während z.B. eine 30D welche nativ ihre 8MPixel zeigt schlechter dahsteht, weil man das Rauschen damit eher sieht.


    Wobei die NEX7 in 100^% betrachtet eigentlich 2-3x so viel rauscht.


    -> Die DXO Ergebnisse sind nur mit vielen Einschränkungen ernst zu nehmen.

    Zitat von "modena"

    Wobei die NEX7 in 100^% betrachtet eigentlich 2-3x so viel rauscht.


    Ja, aber eigentlich betrachtet man Fotos so nicht, sondern z. B. als Ausdruck, oder auf Bildschirmen wie einem HD Flatscreen im Wohnzimmer, einem Laptop oder einem Tablet. Dabei werden die Fotos - samt Rauschen - immer runterskaliert. Insofern finde ich das Runterskalieren auf eine einheitliche Größe sach- und praxisgerecht.

    Naja, aber auch nur wenn man auf eine fixiertes Format festgelegt ist und
    den Gesamteindruck (z.B.) auf einem Fernseher keine grosse Beachtung schenkt.
    Denn fleckiger (weniger sauber bzw. eher richtung "dirty") wirkt auf jeden Fall die Aufnahme des dichter gepackten Sensors.
    Da wir eh nur von 2MP Auflösung beim Beispiel Fernseher, Beamer, Monitor sprechen spielt es eh kaum eine Rolle.

    ...Das mit den ISO Tests ist wirklich ein Problem. Mir ist das bei der 5d MarkIII und der D800 aufgefallen. Obwohl beide wirklich beinahe identisches an Rauschen fabrizieren, wurde die 5d MarkIII um über 500Punkte abgewertet. Aber wenn die Daten auf 8Mpix verrechnet sind, ist das genau wieder dieser Punkt. Für andere Parameter mag diese Vorgehensweise ok sein, aber für den ISO Test, ist das nix... .

    • Offizieller Beitrag

    Ui, das ist jetzt ein bisschen viel Input, muss ich erst mal drüber nachdenken...


    Zitat

    In der Praxis heißt das, dass der Sensor, der in den Lichtern mehr Reserven hat, stärker belichtet werden kann und der in den Schatten mehr Reserven hat, wird spärlicher belichtet. entscheidend ist nur die Spanne die zwischen weiß und schwarz liegt. Hat der Sony Sensor also die Fähigkeit, die Schatten besser zu verarbeiten, so heißt das nicht das er mehr rauscht, denn die Mitten und Helligkeiten sind davon ja nicht betroffen.


    Verstehe ich noch nicht so ganz, aber da könnte der Denkfehler von mir liegen.


    Zitat

    Mein DXO zeigt bei der S5 durchaus mehr Blenden an, z.B. 13 bei 800 ASA, während die D7000 da nur 11 schaffen soll, laut DXO


    Ich hatte mir eigentlich hauptsächlich die Gesamtwertung angesehen, da wird im optimalen Fall der D7000 13,9 EV und der Fuji S5Pro 13,5 EV bescheinigt und das kam mir komisch vor: Link


    Allerdings kann es natürlich sein, dass dies ausschließlich in der viel geringeren Auflösung der Fuji begründet ist und den damit verbundenen zusätzlichen Vorteilen für die D7000.
    Ich hatte es an anderer Stelle auch schon mal verlinkt, DxO spricht davon, dass pro Verdoppelung der Auflösung etwa eine halbe Blende mehr Dynamikumfang "rausspringt":

    Zitat

    As can be seen, high-resolution sensors will gain more SNR, DR, TR and CS when reduced to a lower reference resolution. For DxOMark Sensor Overall Score and Metrics, we chose a reference resolution equal to 8 Megapixels, which is a bit less than a 12" x 8" print with a 300dpi printer. However, any other resolution can be chosen, as doing so only shifts the normalized values by a constant (because the reference resolution appears only as a logarithm in the formulas above).
    What should be remembered is that doubling the resolution adds:


    3dB to the normalized SNR
    0.5 bit to the normalized DR
    0.5 bit to the normalized TR
    1.5 bit to the normalized CS.


    Zitat

    ...Das mit den ISO Tests ist wirklich ein Problem. Mir ist das bei der 5d MarkIII und der D800 aufgefallen. Obwohl beide wirklich beinahe identisches an Rauschen fabrizieren, wurde die 5d MarkIII um über 500Punkte abgewertet. Aber wenn die Daten auf 8Mpix verrechnet sind, ist das genau wieder dieser Punkt. Für andere Parameter mag diese Vorgehensweise ok sein, aber für den ISO Test, ist das nix... .


    Wenn es für den ISO-Test nicht taugt, taugt es meiner Meinung nach aber auch nicht für den Dynmaik-Test, kommt ja wegen des dadurch besseren S/N-Verhältnisses im Prinzip auf das gleiche raus...

    Zitat von "PhilippV3"

    da wird im optimalen Fall der D7000 13,9 EV und der Fuji S5Pro 13,5 EV bescheinigt und das kam mir komisch vor: Link


    Allerdings kann es natürlich sein, dass dies ausschließlich in der viel geringeren Auflösung der Fuji begründet ist und den damit verbundenen zusätzlichen Vorteilen für die D7000.


    Es liegt an der ASA Zahl. In dem Bereich in dem man eine S5pro typischerweise nutzt, von 200 bis 800 ASA, wird von DXO ein größerer BelichtungsUmfang angegeben - was sich ja mit dem beschriebenen Eindruck aus der Praxis deckt.



    [Edit durch Admin: Dateianhang gelöscht. Bitte das Copyright beachten. Ein Link zu dem Diagramm auf der Webseite des Anbieters geht in Ordnung. Aber das Bild nicht direkt einbinden.]



    Ich hatte den Eindruck, daß ein Link nicht funktioniert, per Rechtsklick aber dort der Export der Grafik angeboten wird.
    Bitte zu Measurements > Dynamic Range durchklicken:
    http://www.dxomark.com/index.php/Cameras/Compare-Camera-Sensors/Compare-cameras-side-by-side/%28appareil1%29/680|0/%28brand%29/Nikon/%28appareil2%29/511|0/%28brand2%29/Fujifilm#measuretabs-3

    ...Philipp, dass mit der Dynamik und dem Rauschen funktioniert indem Sinne, dass man einer 5D Mark III einfach eine D600 entgegenbringt, welche dann auf gleichem Niveau sind. Man vergleicht einfach Geräte, die nicht zuweit mit den Pixeln auseinander sind.


    Auch der Test gegen eine Fuji funktioniert, es wird einfach nur ein Messpunkt für alle bestimmt und man kann sich einen Überblick verschaffen.


    Nur zu ernst darf man es nicht nehmen...

    Nun wenn man sich das Diagramm ansieht, ist die S5 bei ISO100, 200 etwa auf ählichem Niveau, hat bei ISO 400 und 800 gewaltige Vorteile und bricht danach stark ein.
    Die D7000 wird aber im gesamten besser bewertet, obwohl die S5 in einigen Bereichen die viel bessere Dynamik hat.


    Wie schon immer sind die DXO Messwerte mit Vorsicht zu geniessen.

    Zitat

    Nun wenn man sich das Diagramm ansieht, ist die S5 bei ISO100, 200 etwa auf ählichem Niveau, hat bei ISO 400 und 800 gewaltige Vorteile und bricht danach stark ein.


    Das wiederum macht Sinn, nachdem die s5 ihre "dunklen" Pixel ab (oder über?) iso1000 nicht mehr berücksichtigt, was sich dann in der geringeren Dynamik (und auch geringeren RAW-Dateigrößen) zeigt.

    • Offizieller Beitrag

    Hm, ich glaube, das was ich eigentlich im Sinn hatte, konnte ich noch nicht so richtig verdeutlichen:


    Aber der Reihe nach:

    Zitat

    ...Das Testprozedere lässt ja nur zu, dass du einen Punkt findest, bei welchem noch Zeichnung in den Lichtern vorhanden ist. Von dem Punkt bewegst du dich dann in den Schatten. Der Schatten wird bei allen Sensoren gleich an ein bestimmtes Maximum gefahren, womit sie alle gleich rauschen.


    Das ist mir schon klar, aber es ging mir hauptsächlich darum, inwieweit das in der Praxis überhaupt relevant ist, denn:


    Zitat

    Der von dir genannte Effekt würde eintreten, wenn beide Sensoren die exakt gleiche Dynamik hätten, nur mit unterschiedlichen Stärken.


    Genau das meinte ich, es gibt durchaus Sensoren, die mehr Potential in den Lichtern wie in den Schatten haben. Definitiv gehören neben der Fuji auch die ganzen MF-Sensoren dazu und die Canonianer behaupten es zumindest immer wieder gerne... :mrgreen:
    Der entscheidende Punkt ist in meinen Augen nun der, dass man mit solchen Sensoren von vornherein so arbeitet, dass man möglichst keine Schatten aufhellen muss, sondern sich die Option lässt, die Lichter wiederherzustellen. Und auf diesem Weg erhält man ganz nebenbei das qualitativ bessere Bildergebnis, weil kein Schattenrauschen verstärkt werden muss (im Fall der DxO-Messung auf ein Maß, bei dem der Signal/Rauschabstand gleich Null ist).


    Zitat

    Das wiederum macht Sinn, nachdem die s5 ihre "dunklen" Pixel ab (oder über?) iso1000 nicht mehr berücksichtigt, was sich dann in der geringeren Dynamik (und auch geringeren RAW-Dateigrößen) zeigt.


    :danke: euch für die Erklärungen, das leuchtet dann ein. Aber auch hier meine ich: In der Praxis erhalte ich aus oben genannten Gründen mit dem Dynamikumfang des S5-Sensors auch bei ISO100-400 das deutlich bessere Bildergebnis. Leider habe ich nicht beide Kameras, um das mal direkt zu vergleichen...


    Ganz grundsätzlich habe ich den Eindruck, dass man bei DxO sehr bemüht ist, sämtliche Eigenschaften eines Sensors in einfache Zahlenwerte zu "pressen", was bei einem so komplexen Thema wie dem Dynamikumfang eines BIldsensors aber daneben geht. Ähnliche Bemühungen stecken sicher auch hinter der letzten Neuerung, der Abschaffung der MTF-Kurven zugunsten der "gefühlten Megapixel": http://www.digitalfototreff.de/index.php?thread/3723