Benchmark-Grundlagen

Wir unterscheiden zwei Arten von Benchmarks: Zum einen gibt es die so genannten Real-Life-Benchmarks, die auf Software oder Anwendungs-Szenarien basieren, die von Anwendern weltweit verwendet werden. Zum anderen gibt es synthetische Benchmarks. Das sind Programme, die ausschließlich entwickelt wurden, um ein System oder bestimmte Bestandteile zu beanspruchen und deren Leistung zu ermitteln. Typische Beispiele hierfür sind 3DMark oder PCMark von Futuremark, oder Sandra von SiSoftware. Dagegen wären ein Skript, welches unter Adobe Photoshop mehrere Bearbeitungsschritte ausführt, ein die Transkodierung einer Videodatei in ein anders Format oder auch ein 3D-Spiel allesamt Beispiele für Real-Life-Benchmarks.

Beide Benchmark-Arten liefern entweder einen errechneten Ergebniswert oder ein greifbareres Resultat wie z.B. die Zeit, die erforderlich war, um den Benchmark zu durchlaufen. Dabei kann es sich um Angaben wie Bilder pro Sekunde (Grafik), Berechnungen pro Sekunde (Prozessoren), Megabytes pro Sekunde (Festplatte oder Hauptspeicher) und ähnliche handeln. Je nachdem, was Sie gerade testen, erhalten Sie unterschiedliche Ergebnisse, die oft genau abgewogen werden müssen, bevor Sie konkrete Rückschlüsse daraus ziehen. Denn je nach Ihren Erwartungen werden Sie bestimmten Resultaten mehr oder weniger Bedeutung beimessen.

Während sich synthetische Benchmarks wie 3DMark mittlerweile zu einem Industriestandard für Consumer gemausert haben, bevorzugen wir noch immer Real-Life-Benchmarks, da sie in der Regel leicht verständliche Ergebnisse liefern. Mit 65 Bildern pro Sekunde werden Sie wohl mehr anfangen können als mit 6583 3DMark-Punkte. Ist das viel? Mit 65 Bilder/s läuft Ihre Grafik sicherlich flüssig. Sie könnten allerdings auch argumentieren, dass man das Punkte-Ergebnis von 3DMark bei Standardeinstellungen leicht über mehrere verschiedene System hinweg vergleichen kann (die Punktzahl ist alles, worauf es ankommt), während der direkte Vergleich von Bildern pro Sekunde viele Anwender erfahrungsgemäß dazu bewegt, nach Einzelheiten zum Testsystem (z.B. Auflösung und Grafikkarte) zu fragen.

Jedenfalls sind Benchmark-Ergebnisse die Mühe nur wert, wenn Sie auch vergleichbare sind. Die Leistung einer ganz neuen Grafikkarte bei verschiedenen Auflösungen zu ermitteln ist wenig hilfreich, wenn Sie nicht auch die Ergebnisse des stärksten Kontrahenten und vielleicht des Vorgängers zur Hand haben. Doch zunächst müssen Sie einen konsistenten Test-Aufbau schaffen, den Sie nicht verändern dürfen, während Sie die Zielparameter anpassen (z.B. Grafikkarten eines Testcomputers wechseln). Es ist zudem hilfreich, eine Grundlinie zu bestimmen, um die Einstufung der Unterschiede zu erleichtern. Wenn also 65 Bilder pro Sekunde dem Grundwert 100 entsprechen, dann ergeben 73 Frames pro Sekunde einen Wert von 112 bzw. eine Steigerung um 12%.

Es ist außerdem von entscheidender Bedeutung, gewissenhaft vorzugehen und sicherzustellen, dass alle Ergebnisse auch reproduzierbar sind. Zum einen sollte man Ergebnisse erst nach mehrfacher Reproduktion akzeptieren. Zum anderen ist herausfinden, ob ein bestimmter Benchmark Schwankungen zeigt; und wenn ja, wie stark diese ausfallen. Es hat sich als brauchbar erwiesen, jeden Benchmark mindestens drei Mal auszuführen. Je größere Ergebnis-Schwankungen Sie entdecken, desto mehr Wiederholungen sollten Sie ausführen. Wenn Sie nach etlichen Wiederholungen (10 oder mehr) noch immer stark schwankende Ergebnisse erhalten, so sollten Sie den Benchmark am besten durch eine zuverlässigere Lösung ersetzen. Sie können mit Hilfe der Benchmark-Ergebnisse entweder einen Durchschnittswert errechnen oder das schnellste bzw. langsamste Ergebnis verwenden. Welcher Ansatz am besten ist hängt erheblich von der Art des Benchmarks ab.

Außerdem sollten Sie sich darüber im Klaren sein, dass Windows Vista mit seinem SuperFetch-Feature in der Lage ist, die Startzeit von Anwendungen durch das Zwischenspeichern von regelmäßig verwendeten Programmen in den Hauptspeicher zu verkürzen. Das ist insbesondere für Benchmarks wichtig, die mehrere Module starten - man denke an eine Benchmark-Suite wie SYSmark von BAPCo, die eine Anwendung nach der anderen startet. Vista wird sich diese Vorgangsmuster merken, nachdem Sie den Benchmark mehrere Male ausgeführt haben. Zudem wird es dafür sorgen, dass die individuellen Anwendungen schneller gestartet und so nach einiger Zeit die Benchmark-Ergebnisse verbessert werden. Sie sollten entweder jedes System mit neuen Benchmarks trainieren oder die SuperFetch-Funktion deaktivieren.