Benchmarky ztrácejí smysl. Švindluje už kde kdo

Po modelu Galaxy S4 zopakoval Samsung svůj trik na lepší skóre v benchmarcích také u tabletofonu Note 3. Vyšlo ale najevo, že švindlují také HTC, Asus, nebo LG.

Samsung to udělal znovu. Již krátce po vstupu Galaxy S4 na trh se zjistilo, že jihokorejský výrobce švindluje v mainstreamových aplikacích na měření výkonu. Celkem přirozeně se tak řada lidí zaměřila i na druhý nejvýznamnější model Samsungu letošního roku, Galaxy Note 3. Redaktoři webu Ars Technica provedli výkonové srovnání Galaxy Note 3 s modelem LG G2, kdy obě zařízení disponovala čipsetem Snapdragon 800, výsledky však byly značně odlišné.

Klepněte pro větší obrázek Klepněte pro větší obrázek
Kalkulačka na Galaxy Note 3 v úsporném režimu 1 jádra procesoru a benchmark, který v úsporném režimu neumí běžet a je u něj vynucen maximální výkon. Stejný benchmark u LG Nexus 4 s čistým Androidem, který těmito úpravami ovlivněn není. V úsporném režimu běží na 384 MHz (Zdroj: arstechnica.com)

Samsung k vylepšeným výsledkům používá malý trik. Když systém detekuje spuštěnou benchmarkovací aplikaci (podle názvu balíčku aplikace), umožní čerpat maximální výkon na všech jádrech, které běží na taktu 2,26 GHz po celou dobu testu benchmarku. Pokud je spuštěna aplikace, která není v systému Note 3 uvedena jako prioritní, běží v úsporném režimu pouze jedno jádro na 300MHz, zatímco ostatní jsou vypnutá. Podle použitého benchmarku tak lze docílit 20 - 50% zvýšení skóre za jednotlivé dílčí testy. V případě kdy vývojáři přejmenovali název balíčku aplikace Geekbench 3 (neshodoval se tedy s původním balíčkem, jenž je veden v systému) a provedli test znovu. V rámci upraveného benchmarku Deathbench 3 běželo pouze jedno jádro a výsledky se velmi podobaly modelu LG G2.

Klepněte pro větší obrázek
Usvědčení v praxi - dva stejné benchmarky a dva různé aplikační balíčky. Ten původní využívá čtyři běžící jádra na 2,3 GHz, ten upravený jen jedno a v úsporném režimu 300 MHz (Zdroj: arstechnica.com)

Klíčová úprava se nachází v systému v souboru DVFSHelper.java (pomocná třída pro dynamické frekvenční škálování), kde jsou napevno uvedeny balíčky aplikací, které mají být ovlivněny trikem pro spuštění všech jader na plný výkon. Jedná se o GeekBench, Quadrant, AnTuTu, Linpack, GFXBench a další vlastní benchmarky Samsungu. Těmto aplikacím jsou pak přiřazeny dvě funkce, PACKAGES_FOR_BOOST_ADJUSTMENT zvyšuje výkon procesoru, PACKAGES_FOR_LOC_FRAME_RATE_ADJUSTMENT zase upravuje framerate displeje. Samotné škálování je užitečnou věcí, protože může umožnit např. některým systémovým aplikacím plné využití dostupných zdrojů, v případě benchmarků se ale jedná o ne příliš férový způsob, jak navýšit skóre. Samsung by tento trik v konečném důsledku nakonec ani nepotřeboval, při jeho deaktivaci jsou výsledky stále o něco lepší než u srovnávaného LG G2.

Klepněte pro větší obrázek 
Tabulka podvodníků - až na Google a Motorolu podvádí všichni, každý model ale u jiných benchmarků a to i napříč portfoliem jednoho výrobce (Zdroj: anandtech)

Švindlují všichni

Ze širokého nadhledu se na celou věc podívali redaktoři webu AnandTech.com. Ve své analýze zveřejnili důkazy o tom, že se podvádění v benchmarcích dopouští třeba i Asus, HTC, nebo LG. Z testovaných byl férový snad jen Google u svých Nexusů (rovněž Asus a LG) a Motorola. Zajímavé je však to, že vynucení maximálního výkonu je i v rámci produktové řady jednoho výrobce u každého modelu jinak.

Po závodech za co největším počtem megapixelů před několika lety výrobci závodí o největší výkon v hlavních benchmarkovacích aplikací. Mají však smůlu v tom, že se na jejich nekalé praktiky přišlo prakticky již v zárodku. Benchmarky měly již kdysi rozporuplnou vypovídající hodnotu, ta se však nyní ještě snižuje. Možná by výrobci měli spíše investovat do nových procesorů a zaměřit se detailněji na poměr výkon/výdrž baterie, nežli uměle navyšovat skóre benchmarků hardwarovými výkony, ke kterým se s běžnými aplikacemi stěží dostanete.

Zdroj: andandtech, sammobile, arstechnica

Témata článku: Android, Samsung, HTC, Smartphony, Asus, LG

63 komentářů

Nejnovější komentáře

  • sykorka01 5. 10. 2013 4:01:18
    Jaký podvod? Co je to za nesmysl, právě naopak. Cílem je zjistit, kolik se...
  • PaulitoJuanito 4. 10. 2013 20:11:21
    A čo Sony?
  • Divad5 4. 10. 2013 10:23:10
    Pro ti co to fakt neco znamena :"Mate smolu" . Jakoze toto "podvadeni " je...
Určitě si přečtěte

Týden mobilně 363: O tom, proč čeští důchodci dotují levné volání manažerům

Týden mobilně 363: O tom, proč čeští důchodci dotují levné volání manažerům

** České telekomunikace jsou rozdělené na dva trhy. Rezidenti doplácejí na firmy ** Představíme lesklý Alcatel Shine Lite ** Chybět nebude ani Mobilní pavlač s nejzajímavějšími událostmi uplynulého týdne

Dnes | Kůžel Filip, Láska Jan | 25

Darujte mobilní aplikaci. Máme pro vás 9 tipů pro Android

Darujte mobilní aplikaci. Máme pro vás 9 tipů pro Android

** Darujte aplikaci. Nemusíte nikam chodit, je to užitečné a na vždycky ** Aplikací je nepřeberné množství, třeba pomohou naše tipy ** Na iPhonu je proces darování aplikace jednoduchý, na Androidu je to složitější

Včera | Chroust Martin | 10

Skládačka, která dává smysl. Moto Z a všechny Moto Mods v jednom videu

Skládačka, která dává smysl. Moto Z a všechny Moto Mods v jednom videu

** Modulární mobil zkoušel Google i LG, ale za správný konec to bere až Lenovo/Moto ** Smartphony Moto Z a Z Play jsou skvělé samy o sobě ** Moto Mods fungují jako nenásilný bonus

8.  12.  2016 | Kůžel Filip, Láska Jan | 8