Huawei-vertailuindeksi johtaa yksityisiin ja julkisiin testeihin manipuloidulla SoC-teholla.
Muutama viikko sitten kerroimme Huawei käyttää ammattimaista DSLR-kameraa mainoksessa selfie-ominaisuuksistaan, ja näyttää siltä, että he eivät yksinkertaisesti voi lopettaa tapoja yrittää huijata kuluttajia - tällä kertaa sen vertailuarvoja, joita he manipuloivat.
Vertailuarvot ovat suosittuja ja ( tähän asti?) laillinen tapa näyttää laitteen suorituskyky - olipa kyseessä sitten suorittimen, grafiikkasuorittimen tai järjestelmän suorituskyvyn vertailuarvot. Vertailuarvojen tarkoituksena on antaa kuluttajille tarkka tulos siitä, miten laitteet toimivat stressin aikana.
Valitettavasti näyttää siltä, että Huawei on sisällyttänyt 'vertailuarvojen havaitsemismekanismin' joihinkin uusimpiin laitteisiinsa. Mitä tämä mekanismi käytännössä tekee, on työntää SoC paljon korkeammalle tehorajalle ja lämpöpään tilaan, kun se havaitsee, että sitä verrataan tiettyihin sovelluksiin - mikä johtaa huomattavasti korkeampiin suorituskykypisteisiin kuin käyttäjät normaalisti saisivat päivittäisessä käytössä. Tämä ei ole vain epärehellistä, se vaarallinen SoC: n käyttöiän ajan, ja se voi ylikuumentaa laitteen nopeasti ja lyhentää sen akun käyttöikää.
Huawei voi puolustaa tätä käytäntöä parhaiten seuraavasti: kaikki muutkin tekevät sen! ' - ja valitettavasti he ovat oikeassa. Benchmark-huijaaminen ei ole ollenkaan uutta - se oli levinnyt PC-kohtauksessa vuosikymmen sitten, ja se on ollut myös mobiilimaailmassa jonkin aikaa.
Erilaiset laitteet poistettiin 3DMarkista vertailumenetelmiä varten.
Exynos-muunnos Samsung Galaxy S4: stä oli kiinni tekemässä samanlaisia vertailuhuijauskäytäntöjä, ja mobiiliarvostelusivuston toimittajat AnandTech löysi suuren määrän muita älypuhelinten myyjiä myös manipuloimalla vertailutietoja. Tämä johti useisiin laitteisiin, kuten Galaxy S4, Galaxy Note 3, HTC One ja monet muut poistettu luettelosta 3DMark-tietokannasta.
Vaikka suurin osa valmistajista lopetti käyttäytymisen kutsun jälkeen, muutama jatkoi - esimerkiksi OnePlus jatkoi huijaamista suosituissa vertailuarvoissa, kuten GeekBench, vaikka se on ilmeisesti lopettanut käytännön OnePlus 5T: n jälkeen - mikä on todella hieno laite ja on erittäin suosittu muokkaus- ja kehitysyhteisö, joten ehkä OnePlus tunsi, että ei tarve vertailla tietoja.
Valitettavasti näyttää siltä, että Huawei on siirtymässä sinne, missä muut laitetoimittajat ovat lopettaneet, koska on vahvistettu raportteja siitä, että Huawei manipuloi vertailuarvoja laitteilla, kuten Huawei P20, Huawei P20 Pro ja Honor Play. Pohjimmiltaan Huawei P20: n suorituskyky oli heikentynyt verrattuna Huawei Mate 10 Proon - ja tuolloin Huawei sanoi, että se oli laiteohjelmisto-ongelma ”- suorastaan rohkea valhe, koska se johtui todellakin edellä mainitusta vertailuarvojen havaitsemismekanismista, joka laukaisee huomattavasti ylivoimamäärän SoC: lle.
Tämä ei ole pelkästään itse SoC: lle, koska SoC: n kokonaistehokkuus laskee, kun tämä tehdään, koska SoC: tä työnnetään hyvin ulkona normaalin käyttöikkunansa ( Kuvittele, että ylikellotat suorittimesi niin korkealle kuin se voi mennä ilman lämpörasvaa) . Tämä on kuitenkin myös huono markkinoida itse.
Ensinnäkin se tekee SoC: n näyttävän huonolta, ikään kuin se tarpeisiin vertailutietojen manipuloimiseksi myymisen arvoiseksi. Toiseksi se herättää epäilyksiä Kiinan älypuhelinmarkkinoista - jotka ovat jo täynnä jäljitelmiä, klooneja ja varjoisia käytäntöjä. Lisäksi Huawein vertailukäyttäytyminen on kenties kaikkein törkein nähtävissä, koska se on todella massiivinen suorituskyvyn ero vertailuarvojen havaitsemismekanismin ollessa päällä verrattuna siihen, kun se on pois päältä. Niin paljon että AnandTech huomautti, että erot julkisesti saatavilla olevissa vertailutuloksissa ja heidän omissa sisäisissä testeissään olivat aivan hämmästyttävää ”.
Huawei on vastannut selvitykseen, ja kuten aiemmin sanoimme, heidän vastauksensa oli pohjimmiltaan ” kaikki muutkin tekevät sen ”. Mitä he kirjaimellisesti sanoivat ( lainaus Dr.Wang Chenglulta, Huawei Consumer Business Groupin ohjelmistojohtajalta) oli “ toiset tekevät saman, saavat korkeita pisteitä, eikä Huawei voi pysyä hiljaa. Huawei haluaa tulla yhdessä muiden kiinalaisten kanssa etsimään paras käyttökokemuksen vahvistus. '
Tohtori Wang viittasi myös muihin valmistajiin harhaanjohtavilla vertailunumeroilla ja mainitsi suurimman syyllisen nimettömän suosittavan älypuhelintuottajan Kiinassa. Tohtori Wangin mukaan vertailuhuijauksesta on tullut 'yleinen käytäntö Kiinassa', ja vaikka Huawei haluaa 'avautua' kuluttajille, heillä on vaikeuksia, kun kilpailijat 'julkaisevat jatkuvasti epärealistisia tuloksia'. Huawei yrittää kohdata suuren kiinalaisen kilpailunsa, tehtävän, joka näennäisesti vaikeutuu, kun muut laitevalmistajat tuottavat epärealistisia pisteet.
Yhteenvetona, Huawei
- Myöntää, että he manipuloivat vertailuarvoja
- Myönnää, että kaikki muutkin Kiinan puhelinmarkkinoilla tekevät sen
- Ei aio lopettaa # 2 takia.
Kuinka kukaan voi luottamus Kiinan puhelinmarkkinoilla tällaisten juttujen jälkeen? Joka tapauksessa Huawei antoi lausunnon, jonka mukaan yritys varmistaa, että kolmannet osapuolet varmistavat tulevaisuuden vertailutiedot ”.
Huawei lähetti täydellisen vastauksen XDA: lle:
'Huawei priorisoi aina käyttökokemuksen korkean vertailupisteen tavoittelun sijasta - varsinkin kun älypuhelinten vertailuarvojen ja käyttökokemusten välillä ei ole suoraa yhteyttä. Huawei-älypuhelimet käyttävät kehittynyttä tekniikkaa, kuten tekoälyä, laitteiston suorituskyvyn optimointiin, mukaan lukien prosessori, GPU ja NPU.
Kun joku käynnistää valokuvaussovelluksen tai pelaa graafisesti intensiivistä peliä, Huawein älykäs ohjelmisto luo sujuvan ja vakaan käyttökokemuksen soveltamalla laitteiston kaikkia ominaisuuksia ja samalla hallitsemalla laitteen lämpötilaa ja virrankulutusta. Sovelluksissa, jotka eivät ole yhtä energiankuluttavia kuin verkon selaaminen, se jakaa vain tarvittavat resurssit tarvittavan suorituskyvyn tuottamiseen.
Normaaleissa benchmarking-skenaarioissa, kun Huawei-ohjelmisto tunnistaa vertailusovelluksen, se sopeutuu älykkäästi 'Performance Mode' -tilaan ja tarjoaa optimaalisen suorituskyvyn. Huawei aikoo tarjota käyttäjille pääsyn 'Suorituskyky' -tilaan, jotta he voivat käyttää laitteensa maksimitehoa tarvittaessa.
Huawei - alan johtajana - on halukas työskentelemään kumppanien kanssa parhaan vertailuanalyysistandardin löytämiseksi, joka pystyy arvioimaan tarkasti käyttökokemuksen. '
Joka tapauksessa, totta vertailuarvot juoksivat AnandTech testattu Huawei P20, P20 Pro ja Honor Play - ja kaikki laitteet toimivat samalla tavalla, koska niillä kaikilla on sama HiSilicon Kirin 970 SoC -, mutta kunkin laitteen todellista suorituskykyä rajoittavat lämpörajat, koska jokaisella laitteella on erilainen runko ja jäähdytysrakenne. Huawei P20 Prolla on parhaat lämpölaitteet, joten se toimii paremmin todellisessa suorituskyvyssä.
Toimittaja AnandTech , Andrei Frumusanu, oli sanottava seuraava:
'Aikaisemmin olemme nähneet toimittajien todella nostavan SoC-taajuuksia tai lukitsemalla ne maksimitilaansa, mikä parantaa suorituskykyä yli sen, mikä yleensä on yleisten sovellusten käytettävissä. Se mitä Huawei sen sijaan tekee, nostaa vertailupisteitä tulemalla siitä toiseen suuntaan - vertailusovellukset ovat ainoat käyttötapaukset, joissa SoC todella toimii mainostetuilla nopeuksillaan. Samaan aikaan kaikki muut reaalimaailman sovellukset kuristetaan merkittävästi alle tämän tilan laitteiston termisten rajoitusten vuoksi. Se, mitä lopulta näemme kuristamattomalla suorituskyvyllä, on ehkä rajoittamattoman SoC: n 'todellinen' muoto, vaikka se onkin täysin akateemista verrattuna siihen, mitä käyttäjät todella kokevat. '
Heidän kaavionsa osoittavat, että Huawein uusimmat puhelimet saavuttavat jo 3,5–4,4 W: n todellisessa suorituskyvyssä, kun taas 3,5 W: n TDP on suurin mahdollinen ylläpitettävä summa. Toisaalta puhelin menee TDP: n kanssa ylinopeuteen suoritettaessa yleisesti saatavilla olevia vertailuarvoja, kun teholuvut ylittävät 6 W ja ovat korkeimmillaan 8,5 W. Kuten AnandTech huomautti, nämä luvut käynnistävät nopeasti ylikuumenemisilmoituksen laitteessa, mikä tarkoittaa lämpörajojen yhteensopimattomuutta ohjelmisto-odotusten kanssa.
Tästä tilanteesta voidaan ottaa se, että todelliset suorituskykyarvot eivät ole vakaita, koska ne riippuvat puhelimen lämpötilasta. Huawei ei estä GPU: ta saavuttamasta GPU: n huipputaajuutta. Oletuskäyttäytyminen on itse asiassa 'ankara lämpökaasumekanismi […], joka yrittää ylläpitää huomattavasti alhaisempia SoC-lämpötiloja ja kokonaisenergiankulutusta'.
Puhelimien normaali tila voi saavuttaa samat virrankulutuksen huippunumerot GPU-vertailuarvojen aikana kuin kuristamattomien versioiden lähettämät. Nämä numerot kuitenkin laskevat nopeasti merkittävästi, ja AnandTech huomauttaa, että puhelin kuristaa joissakin tapauksissa 2,2 W: iin, mikä vähentää suorituskykyä merkittävästi.
Julkaisussa todetaan, että huijauskäyttäytyminen on näennäisesti otettu käyttöön vain tämän vuoden laitteissa. Puhelimiin, kuten Huawei Mate 9 ja Huawei P10, ei vaikuteta, ja näyttää siltä, että vain EMUI 8.0 ja uudemmat laitteet vaikuttavat. Huawei kertoi AnandTechille myös, että kyseessä oli 'puhtaasti ohjelmistojen toteutus', mikä vahvisti julkaisun tuloksia.
AnandTech julkaisi todelliset GPU-suorituskyvyn luvut kärsiville Kirin 970 -käyttöisille puhelimille, ja johtopäätös on, että Huawei on sekä GPU: n suorituskyvyn että tehokkuuden suhteen merkittävästi kilpailijoidensa jälkeen .
Julkaisu julkaisi myös Kirin 970- ja Kirin 960 -käyttöisten Huawei-laitteiden tehovertailukaaviot. Kaaviot osoittavat, että Huawein tehon rajoitukset ovat itse asiassa parempia käyttökokemukselle, koska ne lieventävät korkeamman virrankulutuksen ongelmaa. AnandTechin Kirin 960 -testaus osoitti, että sillä oli 'kauheita näytönohjaimen teho-ominaisuuksia', kun taas Kirin 970 -käyttöisillä laitteilla on uusi tiukka kuristusmekanismi virrankulutuksen ja lämpötilojen alentamiseksi.
AnandTech mainitsi myös, että uudella kuristuspolitiikalla on järkeä, kun otetaan huomioon se tosiasia, että sekä Kirin 960 että Kirin 970 osoittavat voimanottoja, jotka ovat huomattavasti niiden kestävien tasojen yläpuolella niiden muodollisten tekijöiden kannalta.
Vaikka Huawei ei ole välttämättä tehnyt mitään väärää ottamalla käyttöön uuden kuristusmekanismin, he ovat varmasti ylittäneet huijauskynnyksen sulkemalla suositut vertailusovellukset pois sallittujen luettelon kautta, mitä tässä tapauksessa kutsutaan vertailuhuijaukseksi.
PCMarkin ja 3DMarkin takana olevan yrityksen Futuremarkin hankkinut UL on poistanut Huawei P20, Huawei P20 Pro, Huawei Nova 3 ja Honor Play 3DMarkista.
Yhtiö on vahvistanut vertailuhuijauksen Huawei P20 Prolle, Huawei Nova 3: lle ja Honor Playlle. AnandTechin testauksen ja raportoinnin perusteella se on myös poistanut Huawei P20 -mallin. Käyttäjät eivät voi enää tarkastella kyseisten puhelimien vertailutuloksia, koska yritys ei halua isännöidä huijattuja vertailupisteitä.
Yritys havaitsi, että julkisen 3DMark-sovelluksen tulokset olivat jopa 47% korkeammat kuin yksityisen sovelluksen (jota ei ole yleisön saatavilla) tulokset, vaikka testit olisivat identtisiä.
Ilmoituksessa UL lisäsi, että oli iloinen nähdessään Huawei sitoutuvan omaksumaan avoimempi lähestymistapa tulevaisuudessa. UL: n mielestä käyttäjän asettamat valinnaiset suorituskykytilat ovat sallittuja sen nykyisten sääntöjen mukaan, kunhan ne ovat oletusarvoisesti poissa käytöstä. Yritys toteaa: 'Laitteen on suoritettava vertailuarvo ikään kuin se olisi jokin muu sovellus.'
Yhteenvetona voidaan todeta, että kaikkia Huawei GPU: n suorituskyvyn vertailuarvoja, jotka otettiin käyttämällä julkisesti saatavilla olevia vertailuarvoja, ei pidä edustaa todellisen suorituskyvyn kuvauksena.
Huawei otti yhteyttä UL: ään keskustellakseen vertailutestauksen parhaista käytännöistä ja antoi lausunnon:
'Huawei ja UL (3DMarkin luojat) ovat keskustelleet tällä viikolla kattavista vertailuanalyyseistä ja päässeet myönteiseen yhteisymmärrykseen yhteistyön seuraavista vaiheista.
Keskustelussa Huawei selitti, että sen älypuhelimet käyttävät keinotekoista älykästä resurssien ajoitusmekanismia. Koska erilaisissa skenaarioissa on erilaiset resurssitarpeet, uusimmat Huawei-puhelimet hyödyntävät innovatiivisia tekniikoita, kuten tekoäly, optimoidakseen resurssien kohdentamisen tavalla, jotta laitteisto pystyy osoittamaan kykynsä täysimääräisesti täyttämällä samalla käyttäjien vaatimukset kaikissa skenaarioissa.
UL ymmärtää Huawei-lähestymistavan tarkoituksen, mutta vastustaa oletusarvoisesti suorituskykytilan käyttöä, kun laite havaitsee vertailusovelluksen. UL-säännöt vaativat laitteen suorittamaan vertailuarvon ikään kuin se olisi jokin muu sovellus.
Huawei kunnioittaa kuluttajien oikeutta valita, mitä tehdä laitteilleen. Siksi Huawei tarjoaa käyttäjille avoimen pääsyn Suorituskyky-tilaan EMUI 9.0: ssa, jotta käyttäjä voi valita milloin käyttää laitteensa maksimitehoa.
Huawei ja UL ovat keskustelleet myös nykyisistä yhteisistä vertailutestausmenetelmistä yleensä. UL ja Huawei haluavat osallistua alan liikkeeseen kehittää vertailuanalyysistandardeja, jotka palvelevat parhaiten valmistajien, lehdistön ja kuluttajien tarpeita.
Nykyisten vertailutulosten ympärillä olevien sekaannusten välttämiseksi UL ja Huawei ovat keskustelun jälkeen poistaneet väliaikaisesti erilaisten Huawei-laitteiden vertailupisteet ja palauttavat ne uudelleen sen jälkeen, kun Huawei myöntää kaikille Huawei-puhelimien käyttäjille pääsyn Suorituskyky-tilaan. '
Tunnisteet Huawei
