Hurra, fast alle Smartphone-Hersteller frisieren Benchmark-Tests

Jetzt ist es raus: Nachdem schon herausgefunden wurde, dass HTC und Samsung bei Benchmark-Test schummeln, ist nun ans Licht gekommen, dass diese Hersteller nicht die einzigen sind. Fast jeder Smartphoneproduzent frisiert Benchmark-Tests, ausgenommen Apple und Motorola. Weshalb “Hurra” und was daran gut ist, werde ich mal im folgenden erläutern.

tabelleb

Ich habe die Benchmark-Tests nie für voll genommen und das sollte jedem klar sein. Benchmarks sind nichts weiter das purer Schwanzvergleich zwischen den Produkten der Hersteller. Über Benchmarks kann man zwar berichten, allerdings diese wertend zu betrachten ist absolut falsch. Es gibt so viele Geräte (gerade von Samsung), die haben sämtliche Benchmark-Tests gewonnen aber kaum schaltet man das besagte Gerät an, bekommt man schnell Ruckler mit oder die Galerie dauert Ewigkeiten zum Laden. Wenn solche Fehler nicht behoben werden, bringen die besten Benchmark-Ergebnisse nichts. Ich sehe es ziemlich gelassen, dass die meisten Hersteller bei Benchmark-Tests schummeln, denn ich habe diese Ergebnisse nie wirklich ernst genommen und werde es jetzt erst Recht nicht tun. Dass nun herausgefunden wurde, dass hier frisiert wird, wird auch hoffentlich das Bewusstsein der Medien und Blogger ändern. Häufig wird vom schnellsten oder besten Gerät geredet, nur weil dieses in Benchmark-Tests gut abgeschnitten hat. Das muss sich ändern. Wer bei Gerätetest größten Wert auf Benchmark-Ergebnisse legt, der diskreditiert sich selber, denn ohne Einbeziehung von Benchmarks kann man deutlich seriöser, objektiver und besser Geräte testen. Mich interessiert nicht, ob ein Gerät die besten Prozessoren oder den größten Arbeitsspeicher hat, denn es muss performant laufen. Und das geht den meisten so. Ich hoffe also, dass man in Zukunft auf Benchmark-Tests verzichten kann und sehe diese Enthüllungen als Chance für eine künftig deutlich bessere Berichterstattung.

Wie übrigens das mit dem Benchmark-Test frisieren funktioniert, erklärt Lutz Herkner von Mobilwatch ganz gut in seinem Video.

Was ist eure Meinung dazu? Habt ihr jemals auf Benchmark-Tests geachtet?

10 Kommentare
  1. Wo ist der Beweis, dass andere Apps den 2,3-Gigahertz nicht nutzen können? Schlecht recherchiert. Nur weil irgendein Spiel nicht mehr Performance als 2 Kerne auf 1,5Ghz braucht, heißt das nicht, dass es nicht trotzdem möglich wäre mehr rauszuholen.

    Antworten
    Wicker
    6. Oktober 2013, 14:20
    • Dieser Beitrag setzt sich nicht damit auseinander, inwieweit das Schummeln bewiesen wird, sondern was man daraus für eine Lehre ziehen kann. Das was du in Frage stellst, muss ich gar nicht Beweisen, das wurde schon von anderen getan. Hier gibt es eine lange Liste mit Quellen am Beispiel von Samsung. Schlechte Recherche ist also in diesem Beitrag nicht vorhanden. Wenn du dich auf das Video beziehst: Hierbei geht es darum, dass man sehr leicht erkennen kann, dass die Hersteller, in diesem Fall Samsung, sehr wohl ihre Leisung bei den Benchmark-Apps bis aufs höchste ausreizen, auch wenn es nicht nötig ist, nur um nachher besser dazustehen.

      Antworten
      6. Oktober 2013, 14:28
      • Das hast du gut erkannt. Der Beitrag behauptet einfach die Tatsache, es würde geschummelt ohne einen Beweis dafür zu liefern. Abgesehen davon ist es jawohl im Interesse des Testers bei Benchmarks die Leistung vollkommen auszureizen. Dass sie bei anderen Apps nicht vollkommen ausgereizt wird liegt zum einen daran, dass sie von den Apps einfach nicht gebraucht wird, zum anderen daran, dass das System auf das Sparen von Strom ausgelegt ist, was dem Benutzer widerum auch zu Gute kommt. Wie groß wäre das Geheule, wenn das Gerät während der Benchmarks nicht im Stromsparmodus bleibt um Akku zu sparen während man aber sein Gerät ausreizen möchte um seinen ePenis in die Welt zu halten?

        Antworten
        Wicker
        6. Oktober 2013, 15:22
        • Der Beitrag setzt sich mit einer bewiesenen Tatsache auseinander. Behauptungen bezüglich des Schummeln werden nicht aufgestellt.
          Eben: Man braucht keine hohen Benchmark-Ergebnisse. Das ist ja auch das, was ich schrieb im Beitrag. Es macht keinen Unterschied, ob es nun hohe oder weniger gute Werte sind: Hauptsache, das System läuft performant. Deswegen sollte absolut keinen Wert auf Benchmark-Tests gelegt werden.

          6. Oktober 2013, 15:30
  2. „[…], denn ohne Einbeziehung von Benchmarks kann man deutlich seriöser, objektiver und besser Geräte testen.“

    Wie, bei Gott, soll man, indem man einen objektiven Vergleichsfaktor entfernt objektiver testen können?

    Antworten
    Wicker
    6. Oktober 2013, 14:27
    • In dem man das Gerät einfach mal testet und selber schaut, ob es performant läuft und sich nicht auf irgendwelche gefälschten Benchmarkwerte verlässt, die alles andere als ein objektiver Vergleichsfaktor sind.

      Antworten
      6. Oktober 2013, 14:58
      • Und das kann man also nur ohne Benchmarks tun? (Selber schauen ist so ziemlich der Inbegriff von Subjektivität)

        Antworten
        Wicker
        6. Oktober 2013, 15:14
        • Nein, das kann man auch mit Benchmarks tun. Allerdings spielen die dabei keine große Rolle. Subjektiv wäre, zu sagen: Mir gefällt das Ruckeln im System super, ich mag zu schnelle Bewegungen nicht. Objektiv: Das System ruckelt. Man kann also objektiv feststellen, ob ein System schnell und performant läuft. Und das ohne Benchmarktests.

          6. Oktober 2013, 15:19
        • Genau das ist der Inbegriff von Subjektivität. „Das erscheint mir flüssig. Das erscheint mir rucklig.“ Ohne es mit Fakten beweisen zu können.

          Wicker
          6. Oktober 2013, 15:25
        • Nein. Ob ein System performant ist oder nicht, kann man genaustens objektiv beurteilen. Ein System kann nicht nur performant erscheinen. Entweder es ist performant oder nicht.

          6. Oktober 2013, 15:31

Schreibe einen Kommentar zu Wicker Antworten abbrechen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

*