A Huawei benchmarkja privát és nyilvános teszteket eredményez manipulált SoC energiával.
Néhány hete ismertettük A Huawei professzionális DSLR fényképezőgépet használ reklámfilmben szelfizési képességeikről, és úgy tűnik, egyszerűen nem tudják megállni, hogy megpróbálják becsapni a fogyasztókat - ezúttal a viszonyítási alapokat, amelyeket manipulálnak.
A referenciaértékek népszerűek és ( mostanáig?) az eszköz teljesítményének bemutatásának legitim módja - legyen szó akár CPU-ról, GPU-járól vagy a rendszer teljesítményéről. A referenciaértékek lényege, hogy a fogyasztóknak pontos eredményt adjanak arról, hogy az eszközök hogyan teljesítenek stressz alatt.
Sajnos úgy tűnik, hogy a Huawei beépített egy „benchmark felismerési mechanizmust” néhány legújabb eszközükbe. Ez a mechanizmus lényegében annyit tesz, hogy a SoC-t sokkal magasabb teljesítményhatárig és a termikus magasságig tolja, amikor észleli, hogy bizonyos alkalmazásokban benchmarkolják - így sokkal magasabb teljesítménypontszámokat eredményez, mint a felhasználók általában a napi használat során. Ez nemcsak tisztességtelen, hanem az is veszélyes a SoC élettartama alatt, és nagyon gyorsan túlmelegítheti az eszközt, és lerövidítheti az akkumulátor élettartamát.
A Huawei ennek a gyakorlatnak a védelmét úgy lehet összefoglalni, hogy „ mindenki más is csinálja! ” - és sajnos igazuk van. A benchmark csalás egyáltalán nem újdonság - egy évtizeddel ezelőtt tombolt a PC-s szcénában, és egy ideje a mobil színtéren is jelen volt.
Különböző eszközöket töröltek a 3DMarkból a benchmark-manipuláció érdekében.
A Samsung Galaxy S4 Exynos változatát hasonló benchmark csalási gyakorlatokkal fogták el, és a mobil áttekintő webhely szerkesztői AnandTech számos más okostelefon-gyártót fedezett fel, amelyek manipulálták a benchmark adatokat is. Ez számos eszközhöz vezetett, például a Galaxy S4, a Galaxy Note 3, a HTC One és számos más eszközhöz törölték a 3DMark adatbázisból.
Bár a legtöbb gyártó felhagyása után felhagyott a viselkedéssel, néhányan folytatták - például a OnePlus folytatta a csalást olyan népszerű referenciaértékekben, mint például a GeekBench, bár a OnePlus 5T óta nyilvánvalóan leállította a gyakorlatot - ami valójában nagyszerű eszköz, és nagyon népszerű a a modding és fejlesztő közösség, ezért talán a OnePlus úgy érezte, hogy nem szükség a benchmark adatok manipulálására.
Sajnos úgy tűnik, hogy a Huawei ott folytatja tevékenységét, ahol más eszközgyártók abbahagyták, mivel igazolt jelentések vannak arról, hogy a Huawei manipulálja a viszonyítási alapokat olyan eszközökkel, mint a Huawei P20, a Huawei P20 Pro és a Honor Play. Alapvetően a Huawei P20 teljesítménye visszaesett a Huawei Mate 10 Pro-hoz képest - és akkor a Huawei azt mondta, hogy firmware probléma ”- egyenesen merész hazugság, mivel ez tulajdonképpen a fent említett benchmark-detektáló mechanizmusnak volt köszönhető, amely egy jelentősen magasabb teljesítményhatárt indít el a SoC számára.
Ez nem csak magára a SoC-re nézve rossz, mivel a SoC általános hatékonysága csökken, amikor ez megtörténik, mert a SoC jól kint normál üzemi ablakának ( képzelje el, hogy a CPU túlmelegedjen, amilyen magas szintre képes hőzsír nélkül) . Ez azonban a piac maga.
Egyrészt a SoC rosszul néz ki, mintha igények manipulálni a referenciaadatokat, hogy értékes legyen. Másodszor, kétségbe vonja a kínai okostelefon-piacot - amely már tele van utánzásokkal, klónokkal és árnyékos gyakorlatokkal. Ráadásul a Huawei benchmark viselkedése talán még a legdurvább, amit látni kell, mivel valóban létezik egy tömeges a teljesítmény-eredmények különbsége a benchmark-észlelési mechanizmus bekapcsolt állapotához képest. Annyira, hogy AnandTech megjegyezte, hogy a nyilvánosan elérhető benchmark eredmények és saját belső tesztjeik közötti különbségek teljesen meghökkentő ”.
A Huawei válaszolt arra, hogy megtudták, és mint korábban mondtuk, válaszuk alapvetően „ mindenki más is csinálja ”. Amit szó szerint mondtak ( Dr. Wang Chenglu, a Huawei Consumer Business Group szoftverelnökének idézete) volt „ mások ugyanezt teszik, magas pontszámokat kapnak, és a Huawei nem maradhat csendben. A Huawei másokkal Kínában szeretne találkozni, hogy megtalálják a felhasználói élmény legjobb igazolási viszonyítási alapját. ”
Dr. Wang megtévesztő referenciaszámokkal más gyártókra is rámutatott, és a legnagyobb bűnösnek egy meg nem nevezett népszerű kínai okostelefon-gyártót nevezett meg. Dr. Wang szerint a benchmark csalás „bevett gyakorlattá vált Kínában”, és bár a Huawei „nyitni” akar a fogyasztók előtt, gondjaik vannak, amikor a versenytársak „folyamatosan irreális eredményeket könyvelnek el”. A Huawei megpróbál szembenézni a legnagyobb kínai versenyével, amely feladatot látszólag megnehezít, amikor más eszközgyártók irreális pontszámokat produkálnak.
Összefoglalva: Huawei
- Elismeri, hogy viszonyítási számokkal manipulálnak
- Elismeri, hogy mindenki más a kínai telefonpiacon csinálja
- Nem tervezi a leállást a 2. számú miatt.
Hogy teheti bárki bizalom a kínai telefonpiac ilyen dolgok után? A Huawei mindenesetre nyilatkozott arról, hogy a vállalat annak biztosítása, hogy a jövőbeni benchmark adatokat harmadik felek függetlenül ellenőrizzék ”.
A Huawei teljes választ küldött az XDA-nak:
„A Huawei mindig a felhasználói élményt helyezi előtérbe, ahelyett, hogy magas referenciaértékeket követne - főleg, hogy nincs közvetlen kapcsolat az okostelefon-referenciaértékek és a felhasználói élmények között. A Huawei okostelefonok olyan fejlett technológiákat használnak, mint az AI, hogy optimalizálják a hardver teljesítményét, beleértve a CPU-t, a GPU-t és az NPU-t is.
Amikor valaki elindít egy fényképészeti alkalmazást vagy grafikusan intenzív játékot játszik, a Huawei intelligens szoftvere egyenletes és stabil felhasználói élményt nyújt a hardver teljes képességeinek alkalmazásával, miközben egyidejűleg kezeli az eszköz hőmérsékletét és energiahatékonyságát. Azoknál az alkalmazásoknál, amelyek nem annyira energiaigényesek, mint az internet böngészése, csak a szükséges teljesítmény biztosításához szükséges erőforrásokat osztja ki.
Normális benchmarking esetekben, miután a Huawei szoftvere felismerte egy benchmarking alkalmazást, intelligensen alkalmazkodik a „Performance Mode” -hoz és optimális teljesítményt nyújt. A Huawei azt tervezi, hogy hozzáférést biztosít a felhasználóknak a „Teljesítmény módhoz”, hogy szükség esetén a készülék maximális teljesítményét használhassák.
A Huawei - mint iparági vezető - hajlandó együttműködni a partnerekkel, hogy megtalálják a legjobb benchmarking szabványokat, amelyek pontosan értékelhetik a felhasználói élményt. ”
Mindenesetre, igaz referenciaértékek futottak el AnandTech tesztelték a Huawei P20, P20 Pro és Honor Play játékokat - és az összes eszköz hasonlóan működött, mert mindegyikük ugyanazon HiSilicon Kirin 970 SoC-vel rendelkezik -, de az egyes készülékek valós teljesítményét korlátozzák a hőkorlátok, mivel minden eszköz rendelkezik különböző futómű és hűtés kialakítás. A Huawei P20 Pro rendelkezik a legjobb termálokkal, így valódi teljesítményállapotban jobban teljesít.
A szerkesztő AnandTech , Andrei Frumusanu, a következőket mondta:
„A múltban azt láttuk, hogy a gyártók valóban növelik a SoC frekvenciákat, vagy a maximális állapotukra zárják őket, ami növeli a teljesítményt, ami általában elérhető az általános alkalmazások számára. Amit a Huawei tesz, az a benchmark-pontszámok növelése azáltal, hogy a másik irányból érkezik - a benchmarking alkalmazások az egyetlen olyan esetek, amikor a SoC ténylegesen teljesít a meghirdetett sebességgel. Eközben minden más valós alkalmazás az adott állapot alatt jelentős mértékben fojtott állapotban van a hardver termikus korlátai miatt. Amit végül féktelen teljesítménnyel látunk, az talán egy korlátlan SoC „igazi” formája, bár ez teljesen akadémikus ahhoz képest, amit a felhasználók valóban tapasztalnak. ”
Grafikonjaik azt mutatják, hogy a Huawei legújabb telefonjai valós teljesítményükben már elérték a 3,5–4,4 W-ot, míg a 3,5 W TDP a maximális fenntartható mennyiség. Másrészt a telefon túlterhel a TDP-vel, amikor a nyilvánosan elérhető referenciaértékeket teljesíti, a teljesítményértékek 6 W fölé mennek és 8,5 W-ra tetőznek. Amint azt az AnandTech megjegyezte, ezek az adatok gyorsan túlmelegedési értesítést váltanak ki az eszközön, ami azt jelzi, hogy a termikus határok nem felelnek meg a szoftver elvárásainak.
Ebből a helyzetből azt lehet levonni, hogy a valódi teljesítményadatok nem stabilak, mivel a telefon hőmérsékletétől függenek. A Huawei nem akadályozza a GPU-t abban, hogy elérje a GPU csúcsfrekvencia-állapotát. Az alapértelmezett viselkedés valójában egy „kemény termikus fojtószerkezet […], amely megpróbálja fenntartani a lényegesen alacsonyabb SoC hőmérsékleti szinteket és a teljes energiafogyasztást”.
A telefonok normál üzemmódja ugyanazt a csúcsteljesítmény-fogyasztási értéket érheti el a GPU-referenciaértékek alatt, mint a fojtatlan változatok. Ezek a számok azonban gyorsan jelentősen visszaesnek, és az AnandTech megjegyzi, hogy a telefon egyes esetekben 2,2 W-ig fojt, ami jelentősen csökkenti a teljesítményt.
A kiadvány megállapítja, hogy a benchmark csalási magatartást látszólag csak az idei eszközökben vezették be. Az ilyen telefonokat, mint a Huawei Mate 9 és a Huawei P10, ez nem érinti, és úgy tűnik, hogy csak az EMUI 8.0 és az újabb eszközök érintettek. Az AnandTech-nek a Huawei azt is elmondta, hogy ez „pusztán szoftveres megvalósítás”, ami megerősítette a kiadvány megállapításait.
Az AnandTech a grafikus processzor teljesítményéről valódi adatokat közölt az érintett Kirin 970-es telefonokról, és a következtetés az, hogy a Huawei mind GPU teljesítménye, mind hatékonysága tekintetében jelentősen elmarad versenytársaitól .
A kiadvány a Kirin 970 és a Kirin 960 meghajtású Huawei készülékek teljesítmény-összehasonlító grafikonjait is közzétette. A grafikonok azt mutatják, hogy a Huawei teljesítményfojtási beállításai valójában jobbak a felhasználói élmény szempontjából, mivel enyhítik a nagyobb energiafogyasztás problémáját. Az AnandTech által elvégzett Kirin 960 tesztelése azt mutatta, hogy „borzasztó GPU teljesítményjellemzőkkel” bír, míg a Kirin 970-es meghajtású készülékek új, szigorú fojtószerkezettel rendelkeznek az energiafogyasztás és a hőmérséklet csökkentésére.
Az AnandTech azt is megemlítette, hogy az új fojtási politikának van értelme, ha figyelembe vesszük azt a tényt, hogy mind a Kirin 960, mind a Kirin 970 olyan erőhúzásokat mutat, amelyek az adott formai tényezők szempontjából jóval meghaladják fenntartható szintjüket.
Bár a Huawei nem feltétlenül tett semmi rosszat egy új fojtószerkezet bevezetésével, minden bizonnyal átlépték a csalási küszöböt azáltal, hogy a népszerű referenciaalkalmazásokat kizárták az engedélyezőlistán keresztül, amit ebben az esetben benchmark csalásnak neveznek.
Az UL, amely megvásárolta a Futuremarkot, a PCMark és a 3DMark mögött álló vállalatot, kivette a Huawei P20, a Huawei P20 Pro, a Huawei Nova 3 és a Honor Play játékot a 3DMarkból.
A vállalat ellenőrizte a Huawei P20 Pro, a Huawei Nova 3 és a Honor Play benchmark csalását. Az AnandTech tesztelése és jelentése alapján a szokásos Huawei P20-t is kivette. A felhasználók a továbbiakban nem tekinthetik meg az érintett telefonok benchmark eredményeit, mivel a vállalat nem kíván csalott benchmark pontszámokat fogadni.
A vállalat megállapította, hogy a nyilvános 3DMark alkalmazásból származó pontszámok akár 47% -kal is magasabbak voltak, mint a magánalkalmazásból származó eredmények (amelyek a nyilvánosság számára nem elérhetőek), annak ellenére, hogy a tesztek azonosak.
A közleményben az UL hozzátette, hogy örömmel látja, hogy a Huawei elkötelezi magát a jövőben átláthatóbb megközelítés mellett. Az UL véleménye szerint a felhasználó által beállítható opcionális teljesítménymódok a jelenlegi szabályai szerint megengedettek, amennyiben alapértelmezés szerint le vannak tiltva. A vállalat kijelenti: 'Egy eszköznek úgy kell futtatnia a referenciaértéket, mintha bármilyen más alkalmazás lenne.'
Összegzésként elmondható, hogy az összes Huawei GPU teljesítmény-referenciaértéket, amelyet nyilvánosan elérhető referenciaértékek alapján vettek, nem szabad a tényleges teljesítmény képviseletének tekinteni.
A Huawei az UL-hez fordult, hogy megvitassa a benchmark tesztelés legjobb gyakorlatait, és nyilatkozatot adott ki:
„A Huawei és az UL (a 3DMark készítői) ezen a héten átfogó megbeszéléseket folytattak a benchmarking gyakorlatokról, és pozitív megállapodást értek el a közös munka következő lépéseiről.
A megbeszélésen a Huawei kifejtette, hogy okostelefonjai mesterséges intelligens erőforrás-ütemezési mechanizmust használnak. Mivel a különböző forgatókönyvek eltérő erőforrásigényűek, a legújabb Huawei készülékek olyan innovatív technológiákat alkalmaznak, mint a mesterséges intelligencia, hogy optimalizálják az erőforrás-elosztást oly módon, hogy a hardver a lehető legteljesebb mértékben megmutassa képességeit, miközben teljesíti a felhasználói igényeket az összes forgatókönyvben.
Az UL megérti a Huawei megközelítésének szándékát, de ellenzi, hogy alapértelmezés szerint a „Teljesítménymód” használatát kényszerítsék ki, amikor az eszköz benchmarking alkalmazást észlel. Az UL-szabályok megkövetelik, hogy egy eszköz futtassa a benchmarkot, mintha más alkalmazásról lenne szó.
A Huawei tiszteletben tartja a fogyasztók azon jogát, hogy megválasszák, mit tegyenek az eszközükkel. Ezért a Huawei nyílt hozzáférést biztosít a felhasználók számára az „EMUI 9.0” teljesítménymódjához, hogy a felhasználó kiválaszthassa, mikor használja készülékének maximális teljesítményét.
A Huawei és az UL általánosságban megvitatták a jelenlegi közös benchmark tesztelési módszereket is. Az UL és a Huawei egy ipari mozgalomban szeretne részt venni olyan benchmarking szabványok kidolgozásában, amelyek a legjobban szolgálják a gyártók, a sajtó és a fogyasztók igényeit.
A jelenlegi benchmarking eredmények körüli félreértések elkerülése érdekében az UL és a Huawei a megbeszélést követően ideiglenesen eltávolította a Huawei-eszközök egy sor benchmark-pontszámát, és visszaállítja azokat, miután a Huawei hozzáférést biztosít a Huawei készülékek összes felhasználójának a Performance Mode-hoz. ”
Címkék Huawei
