Výsledkom benchmarku Huawei sú súkromné a verejné testy s manipulovaným výkonom SoC.
Pred pár týždňami sme pokryli Huawei pomocou profesionálneho fotoaparátu DSLR v reklame o svojich schopnostiach na selfie a zdá sa, že jednoducho nemôžu prestať hľadať spôsoby, ako spotrebiteľov oklamať - tentokrát s ich referenčnými hodnotami, s ktorými manipulujú.
Referenčné hodnoty sú populárne a ( do teraz?) legitímny spôsob prezentácie výkonu zariadenia - či už ide o výkonové parametre procesora, GPU alebo systému. Zmyslom všetkých testov je poskytnúť spotrebiteľom presný výsledok toho, ako fungujú zariadenia v strese.
Bohužiaľ sa zdá, že Huawei do niektorých svojich najnovších zariadení zahrnul „mechanizmus detekcie referenčných hodnôt“. Tento mechanizmus v podstate robí to, že tlačí SoC na oveľa vyšší limit výkonu a tepelnú rezervu, keď zistí, že je v určitých aplikáciách porovnávaný - čo má za následok oveľa vyššie skóre výkonu, ako by používatelia bežne dostávali pri každodennom používaní. To je nielen nepoctivé, jeho nebezpečné na životnosť SoC a môže veľmi rýchlo prehriať zariadenie a znížiť jeho životnosť batérie.
Obranu spoločnosti Huawei voči tomuto postupu možno najlepšie zhrnúť takto: „ robia to aj všetci ostatní! “ - a, žiaľ, majú skutočne pravdu. Benchmarkové podvádzanie nie je vôbec žiadnou novinkou - na scéne s PC sa to pred desiatimi rokmi zúrilo a na chvíľu to bolo aj na mobilnej scéne.
Rôzne zariadenia vyradené z programu 3DMark na testovanie referenčných hodnôt.
Varianta Exynos Samsung Galaxy S4 bola prichytená pri podobných praktikách podvádzania pri testovaní a redaktori webu pre kontrolu mobilných telefónov AnandTech objavil veľké množstvo ďalších predajcov smartfónov, ktorí tiež manipulovali s referenčnými údajmi. To viedlo k vzniku množstva zariadení, napríklad Galaxy S4, Galaxy Note 3, HTC One a mnohých ďalších vyradené z databázy 3DMark.
Aj keď väčšina výrobcov po vyvolaní prestala s správaním, niekoľko z nich pokračovalo - napríklad OnePlus pokračoval v podvádzaní v populárnych porovnávacích testoch, ako je GeekBench, hoci od roku OnePlus 5T, ktorý je v skutočnosti skvelým zariadením a je veľmi populárny, zjavne zastavil túto prax. modifikačná a vývojová komunita, takže OnePlus možno cítil, že to tak nie je potreba manipulovať s referenčnými údajmi.
Bohužiaľ sa zdá, že Huawei pokračuje tam, kde iní dodávatelia zariadení skončili, pretože existujú overené správy o tom, že Huawei manipuluje s benchmarkami so zariadeniami ako Huawei P20, Huawei P20 Pro a Honor Play. Výkon Huawei P20 v zásade klesol v porovnaní s Huawei Mate 10 Pro - a v tom čase spoločnosť Huawei uviedla, že „ problém s firmvérom ”- vyložene odvážna lož, pretože to bolo v skutočnosti kvôli vyššie uvedenému mechanizmu detekcie referenčných hodnôt, ktorý spúšťa pre SoC výrazne vyšší výkonový limit.
Nie je to zlé len pre samotný SoC, pretože sa tak zníži celková účinnosť SoC, pretože sa tlačí SoC dobre vonku normálneho prevádzkového okna ( predstavte si pretaktovanie vášho procesora tak vysoko, ako to len ide bez tepelného maziva) . To je však zlé aj pre trh sám.
Pre jedného to spôsobuje, že SoC vyzerá zle, akoby potreby nechať manipulovať referenčné údaje, aby sa oplatilo predávať. Po druhé, spochybňuje čínsky trh so smartphonmi - ktorý je už teraz plný imitácií, klonov a pochybných praktík. Okrem toho je benchmarkové správanie spoločnosti Huawei možno najpozoruhodnejšie, aké sa zatiaľ dajú vidieť, pretože skutočne existuje masívny rozdiel vo výsledkoch pri zapnutom mechanizme detekcie referenčných hodnôt v porovnaní s vypnutým. Toľko AnandTech poznamenal, že rozdiely vo verejne dostupných referenčných výsledkoch a ich vlastných interných testoch boli „ absolútne úžasné “.
Spoločnosť Huawei reagovala na zistenie, a ako sme už povedali skôr, ich odpoveď bola v podstate „ robia to aj všetci ostatní “. Čo doslova povedali ( Wang Chenglu, prezident softvéru v spoločnosti Huawei’s Consumer Business Group) bolo „ ostatní robia to isté, dosahujú vysoké skóre a Huawei nemôže mlčať. Spoločnosť Huawei sa chce spojiť s ostatnými v Číne s cieľom nájsť najlepší overovací štandard pre používateľskú skúsenosť. “
Dr. Wang tiež poukázal na ďalších výrobcov so zavádzajúcimi referenčnými číslami a ako najväčšieho vinníka uviedol nemenovaného populárneho výrobcu smartfónov v Číne. Podľa Dr. Wanga sa podvádzanie na základe benchmarku stalo „bežnou praxou v Číne“, a zatiaľ čo sa Huawei chce „otvoriť“ zákazníkom, majú problémy s tým, keď konkurencia „neustále dosahuje nereálne skóre“. Spoločnosť Huawei sa snaží čeliť svojej veľkej čínskej konkurencii, čo je úloha, ktorú zjavne sťažuje, keď ostatní výrobcovia zariadení produkujú nereálne čísla.
Keď to zhrniem, Huawei
- Priznáva, že manipulujú s referenčnými číslami
- Priznáva, že to robí každý na čínskom trhu s telefónmi
- Neplánuje prestať kvôli # 2.
Ako môže ktokoľvek dôvera čínsky telefónny trh po tomto druhu vecí? V každom prípade spoločnosť Huawei urobila vyhlásenie, že spoločnosť „ zabezpečiť, aby budúce referenčné údaje boli nezávisle overené tretími stranami “.
Spoločnosť Huawei zaslala spoločnosti XDA úplnú odpoveď:
„Spoločnosť Huawei vždy uprednostňuje používateľskú skúsenosť pred dosahovaním vysokých testovacích skóre - najmä preto, že neexistuje priame spojenie medzi testovacími hodnotami smartfónov a používateľskými skúsenosťami. Smartfóny Huawei využívajú pokročilé technológie ako AI na optimalizáciu výkonu hardvéru vrátane CPU, GPU a NPU.
Keď niekto spustí aplikáciu na fotografovanie alebo hrá graficky náročnú hru, inteligentný softvér spoločnosti Huawei vytvorí plynulý a stabilný používateľský zážitok využitím všetkých možností hardvéru a súčasnou správou teploty a energetickej účinnosti zariadenia. Pre aplikácie, ktoré nie sú také náročné na napájanie, ako je napríklad prehliadanie webu, pridelí iba zdroje potrebné na zabezpečenie potrebného výkonu.
V bežných scenároch testovania, akonáhle softvér spoločnosti Huawei rozpozná testovaciu aplikáciu, inteligentne sa prispôsobí „režimu výkonu“ a poskytuje optimálny výkon. Spoločnosť Huawei plánuje poskytnúť používateľom prístup do „režimu výkonu“, aby mohli v prípade potreby využiť maximálny výkon svojho zariadenia.
Spoločnosť Huawei - ako líder v tomto odbore - je ochotná spolupracovať s partnermi na nájdení najlepších štandardov porovnávania, ktoré dokážu presne vyhodnotiť používateľskú skúsenosť. “
V každom prípade, pravda benchmarky AnandTech testovali Huawei P20, P20 Pro a Honor Play - a všetky zariadenia si počínali podobne, pretože všetky zdieľajú rovnaký HiSilicon Kirin 970 SoC - skutočný výkon každého zariadenia je však obmedzený teplotnými limitmi, pretože každé zariadenie má iný dizajn podvozku a chladenia. Huawei P20 Pro má najlepšiu termiku, takže podáva lepšie výsledky v skutočnom stave výkonu.
Redaktor časopisu AnandTech Andrej Frumusanu povedal:
„V minulosti sme videli, že dodávatelia skutočne zvyšujú frekvencie SoC alebo ich blokujú na maximum, čo zvyšuje výkon nad rámec toho, čo je zvyčajne dostupné pre všeobecné aplikácie. To, čo Huawei namiesto toho robí, je zvyšovanie benchmarkových skóre tým, že sa na ne pozerá z opačného smeru - benchmarkingové aplikácie sú jedinými prípadmi použitia, kedy SoC skutočne dosahuje svoju inzerovanú rýchlosť. Medzitým sú všetky ďalšie aplikácie v reálnom svete škrtené do značnej miery pod tento stav kvôli tepelným obmedzeniam hardvéru. To, čo nakoniec uvidíme pri neškrtenom výkone, je možno „skutočná“ forma neobmedzeného SoC, aj keď je to v porovnaní s tým, čo používatelia skutočne zažívajú, úplne akademické. ““
Ich grafy ukazujú, že najnovšie telefóny spoločnosti Huawei už dosahujú 3,5 až 4,4 W v skutočnom stave výkonu, zatiaľ čo 3,5 W TDP je maximálna hodnota, ktorú je možné udržať. Na druhej strane, telefón pri dosahovaní verejne dostupných benchmarkov dosahuje vyššiu rýchlosť ako TDP. Hodnoty výkonu stúpajú nad 6 W a vrcholia 8,5 W. Ako poznamenal AnandTech, tieto čísla rýchlo spustia upozornenie na prehriatie zariadenia, čo znamená nesúlad teplotných limitov so softvérovými očakávaniami.
Z tejto situácie možno vyvodiť, že skutočné údaje o výkone nie sú stabilné, pretože závisia od teploty telefónu. Spoločnosť Huawei neblokuje GPU v dosiahnutí maximálneho stavu frekvencie GPU. Predvolené správanie je v skutočnosti „tvrdý tepelný škrtiaci mechanizmus [...], ktorý sa bude snažiť udržiavať výrazne nižšie úrovne teploty SoC a celkovú spotrebu energie.“
Normálny režim telefónov môže dosiahnuť rovnaké špičkové hodnoty spotreby energie počas testovacích úrovní GPU ako tie, ktoré zverejňujú neškrtené varianty. Tieto čísla však rýchlo výrazne klesajú a AnandTech poznamenáva, že telefón v niektorých prípadoch škrtí na 2,2 W, čo má za následok výrazné zníženie výkonu.
Publikácia uvádza, že testovacie cheatovacie správanie bolo zdanlivo zavedené iba v tohtoročných zariadeniach. Telefónov ako Huawei Mate 9 a Huawei P10 sa to netýka a zdá sa, že to bude mať vplyv iba na EMUI 8.0 a novšie zariadenia. Spoločnosť AnandTech tiež spoločnosti Huawei povedala, že išlo o „čisto softvérovú implementáciu“, čo potvrdzuje zistenia publikácie.
AnandTech zverejnil skutočné údaje o výkone GPU pre dotknuté telefóny s Kirin 970 a záverom je, že ním je aj Huawei výrazne zaostáva za svojimi konkurentmi, čo sa týka výkonu aj efektívnosti GPU .
Publikácia tiež zverejnila grafy porovnania napájania pre zariadenia Huawei s Kirin 970 a Kirin 960. Grafy ukazujú, že úpravy obmedzovania výkonu spoločnosti Huawei sú v skutočnosti lepšie pre používateľskú skúsenosť, pretože zmierňujú problém s vyššou spotrebou energie. Testovanie modelu Kirin 960 spoločnosťou AnandTech ukázalo, že má „hrozné výkonové charakteristiky GPU“, zatiaľ čo zariadenia s procesorom Kirin 970 majú nový prísny škrtiaci mechanizmus, ktorý znižuje spotrebu energie a teploty.
AnandTech tiež spomenul, že nová politika škrtenia má zmysel, keď vezmeme do úvahy skutočnosť, že Kirin 960 aj Kirin 970 vykazujú príkony, ktoré sú omnoho vyššie ako ich udržateľné úrovne pre ich príslušné tvarové faktory.
Aj keď spoločnosť Huawei nevyhnutne neurobila nič zlé zavedením nového škrtiaceho mechanizmu, určite prekročili hranicu podvádzania vylúčením populárnych benchmarkových aplikácií prostredníctvom bielej listiny, ktorá sa v tomto prípade označuje ako benchmarkové podvádzanie.
Spoločnosť UL, ktorá získala spoločnosť Futuremark, ktorá stojí za spoločnosťami PCMark a 3DMark, vyradila modely Huawei P20, Huawei P20 Pro, Huawei Nova 3 a Honor Play od spoločnosti 3DMark.
Spoločnosť overila testovacie podvádzanie na Huawei P20 Pro, Huawei Nova 3 a Honor Play. Na základe testovania a hlásení spoločnosti AnandTech vyradil aj štandardný Huawei P20. Používatelia si už nebudú môcť zobraziť referenčné výsledky dotknutých telefónov, pretože spoločnosť si neželá hostiť podvádzané testovacie výsledky.
Spoločnosť zistila, že skóre z verejnej aplikácie 3DMark bolo až o 47% vyššie ako skóre zo súkromnej aplikácie (ktorá nie je k dispozícii verejnosti), a to napriek skutočnosti, že testy sú totožné.
V oznámení spoločnosť UL dodala, že je šťastná, že sa spoločnosť Huawei zaviazala v budúcnosti prijať transparentnejší prístup. Názor UL je taký, že voliteľné režimy výkonu, ktoré môže nastaviť používateľ, sú povolené podľa jeho aktuálnych pravidiel, pokiaľ sú predvolene zakázané. Spoločnosť uvádza: „Na zariadení musí byť spustený štandard, akoby išlo o inú aplikáciu.“
Záverom možno povedať, že všetky benchmarky výkonu GPU spoločnosti Huawei, ktoré boli použité pomocou verejne dostupných benchmarkov, by sa nemali brať ako reprezentácia skutočného výkonu.
Spoločnosť Huawei oslovila UL, aby prediskutovala najlepšie postupy pre testovacie testy, a vydala vyhlásenie:
„Huawei a UL (tvorcovia 3DMark) tento týždeň viedli komplexné diskusie o benchmarkingových postupoch a dosiahli pozitívnu dohodu o ďalších krokoch v spolupráci.
V diskusii spoločnosť Huawei vysvetlila, že jej smartphony používajú mechanizmus umelého inteligentného plánovania zdrojov. Pretože rôzne scenáre majú odlišné potreby zdrojov, najnovšie telefóny Huawei využívajú inovatívne technológie, ako je umelá inteligencia, na optimalizáciu alokácie zdrojov takým spôsobom, aby hardvér mohol v maximálnej miere demonštrovať svoje schopnosti a zároveň uspokojiť požiadavky používateľov vo všetkých scenároch.
UL chápe zámer prístupu spoločnosti Huawei, je však proti tomu, aby v prípade, že zariadenie zistí testovaciu aplikáciu, vynútilo predvolené používanie „režimu výkonu“. Pravidlá UL vyžadujú, aby zariadenie spustilo test ako keby to bola iná aplikácia.
Spoločnosť Huawei rešpektuje právo spotrebiteľov na výber, čo so svojimi zariadeniami. Preto spoločnosť Huawei poskytne používateľom otvorený prístup k „režimu výkonu“ v EMUI 9.0, aby si používateľ mohol zvoliť, kedy použije maximálny výkon svojho zariadenia.
Huawei a UL tiež diskutovali o súčasných bežných testovacích metodikách testovania všeobecne. UL a Huawei by sa chceli zapojiť do odvetvového hnutia zameraného na vývoj štandardov testovania, ktoré najlepšie vyhovejú potrebám výrobcov, tlače a spotrebiteľov.
Aby sa predišlo nejasnostiam v súvislosti s aktuálnymi výsledkami porovnávacích testov, UL a Huawei po diskusii dočasne vyradili porovnávacie skóre z radu zariadení Huawei a obnovia ich po tom, čo spoločnosť Huawei udelí všetkým používateľom súprav Huawei prístup do režimu Performance Mode. “
Značky Huawei
