RoboHornet – Der nächste große Browserbenchmark

Kürzlich haben Google und GitHub das mysteriöse Projekt RoboHornet vorgestellt. Der ambitionierte, komplett integrierte Browserbenchmark weicht drastisch von herkömmlichen Browserbenchmarks ab. Wir nehmen den neuen Benchmark unter die Lupe.

RoboHornet, ein neuartiger Browserbenchmark, wurde erst Ende September 2012 vorgestellt und ist brandneu. Wie Fusible im Februar 2012 zu berichten wusste, wurden die beiden Domainnamen robohornet.com und robohornet.org von Google registriert. Trotz dieser Unterstützung ist RoboHornet kein Projekt von Google, sondern ein unabhängiges GitHub-Projekt.

Aber RoboHornet ist weit mehr als ein weiterer Browserbenchmark. RoboHornet ist ein Framework, das eine skalierbare Performancemetrik realisiert und dabei zukünftige Entwicklungen berücksichtigen kann. Der ‘Benchmark’ besteht intern aus einer modularen Palette einzelner Performancetests. Webdesigner und Browserentwickler implementieren die Tests und stimmen über ihre Relevanz, Qualität und Gewichtung ab. Darüber hinaus walten Standardisierungsgremien und andere wichtige Instanzen der Web-Entwicklung als übergeordneter Lenkungsausschuss. Unsere Recherchen ergaben, dass Google, Facebook, Microsoft und Mozilla derzeit im Lenkungsausschuss sitzen. Browseranbieter und andere Web-Firmen können als technische Berater beim Projekt mitwirken. Selbst Endanwender können auf dem Projektforum Probleme melden, an Abstimmungen über die Priorität von Bugs teilnehmen oder sogar Benchmarks programmieren.

Neben den Ergebnissen der einzelnen Testkomponenten errechnet RoboHornet auch eine Gesamtwertung. Das Bewertungssystem ist nach oben offen, die Browser werden miteinander verglichen – wenn eine neue Browserversion erscheint, wird sie an allen anderen Browsern gemessen. Die Gewichtung der Einzelbenchmarks für den Gesamtscore unterliegt einer öffentlichen Abstimmung – das Projekt versucht auf diese Art und Weise, aktuellen Trends im Webdesign und in der Browserentwicklung Rechnung zu tragen.

Ähnlich wie die ersten Versionen des Web Browser Grand Prix (WBGP), den unsere amerikanischen Kollegen regelmäßig durchführen, liegt der Fokus von RoboHornet nur auf der Performance. Das Alpha-1-Release, das uns zur Verfügung stand, testet CSS, DOM, HTML und JavaScript. Jede Komponente von RoboHornet stellt ein Anwendungsszenario nach, das vom RoboHornet-Team als aktuell und relevant eingeschätzt wird. Mit anderen Worten, RoboHornet versucht jene Aspekte der Browserperformance zu testen, die Endanwender tatsächlich in der Praxis sehen. Alle Komponenten von RoboHornet wurden neu entwickelt – es handelt sich hier nicht um einen Meta-Benchmark, der bloß bestehende Benchmarks, wie wir sie für unsere Vergleiche von Webbrowsern verwenden, zusammenfasst und mit einer übergeordneten Benutzeroberfläche versieht.

Offiziell unterstützt RoboHornet nur die ‘Großen Fünf’ Browser: Chrome, Firefox, Internet Explorer und Opera unter Windows sowie Safari auf OS X. Für RoboHornet gelten Chrome, Firefox und Opera auf OS X und Linux als ‘nicht getestet’. Das Gleiche gilt für weniger bekannte Browser wie Maxthon, Sleipnir und Camino. Auch Browser auf Android und iOS werden derzeit nicht unterstützt – allerdings ist die Unterstützung von mobilen Plattformen eines der wichtigsten Zukunftsziele von RoboHornet.

Obwohl, wie gerade erwähnt, einige Browser auf einigen Systemplattformen als nicht unterstützt gelten, haben wir alle Browser unter Windows 7, Windows 8 RTM, OS X Mountain Lion, Ubuntu 12.04 LTS und, sofern vorhanden, sogar unter Android getestet (siehe unten). Zunächst wollen wir aber die Testkonfiguration besprechen.