Puhelinvalmistajien huijaukset erilaisissa testiohjelmissa ovat nousseet otsikoihin jo useampaankin otteeseen. Viimeksi asiaa otettiin isosti esille viisi vuotta sitten, kun AnandTechin testissä ainut puhtain paperein selvinnyt puhelinvalmistaja oli Motorola.
Tällä kertaa kyseenalaiseen valoon on joutunut Huawei Kirin-järjestelmäpiiriensä kanssa. AnandTechin suorittamissa testeissä esimerkiksi Honor Play suoriutui testiohjelman tunnistuksen ansiosta yli kaksi kertaa todellista paremmin. Käytännössä huijaukset tuovat kaikki Kirin 970 -piiriä käyttävät puhelimet samalle suorituskykytasolle, vaikka niiden todellinen suorituskykytaso olisi huomattavastikin erilainen puhelimen muista rajoituksista tai ominaisuuksista johtuen.
Tuloksiin mahtuu myös yksi todellinen erikoisuus, kun GFXBenchin Aztec High Off-screen -testissä Vulkan-rajapinnalla P20 Pro suoriutuu paremmin ilman huijauksia kuin niiden kanssa. AnandTech testasi huijauksia 3DMark Sling Shot -testeissä sekä GFXBenchissä käyttäen apunaan testiohjelmien kehittäjiltä saatuja kustomoituja versioita, jotka tunnistuvat eri tavoin kuin normaaliversio.
Käytännössä siis huijaus toimii tutulla metodilla, jossa tunnistetaan tietyt testiohjelmat ja nostetaan tällöin järjestelmäpiirin suorituskykyä normaalia korkeammaksi. Valitettavasti korkeampi suorituskyky tarkoittaa samalla korkeampaa tehonkulutusta ja Honor Playn kannalta pahimmassa skenaariossa eli T-Rex-testissä puhelimen kulutus kohoaa yli 8,5 wattiin, kun ilman testiohjelman tunnistusta kulutus olisi alle 4,4 wattia. AnandTechin näkemyksen mukaan älypuhelinten kohdalla järkevänä rajana voidaan pitää 3,5 watin kulutusta, joka kyetään jäähdyttämään tehokkaasti ilman ylikuumenemisvaaraa.
Huawei on kommentoinut tilannetta AnandTechille toteamalla yksinkertaisesti, että koska muutkin tekevät samaa, on heidäkin pakko nostaa omia tuloksiaan. Yhtiön edustajan mukaan huijaaminen on enemmän sääntö kuin poikkeus etenkin kiinalaisvalmistajien keskuudessa.
Lähde: AnandTech
Se että puhelin on pieni pelikone ja siihen on mahdollista tunkea grafiikkasuoritin joka lämpenee ja syö akun on ok. Mutta se ei ole että valmistaja kusettaa asiakkaitaan näillä ”testi” tuloksilla jotka ovat jostain hanurista koska ovat hujjaamalla tehty. Vakava asia tommonen petkuhuiputus. Omakohtainen kokemus Honorista oli kyllä syvältä ja luuri ei vakuuttanut muulla osa-alueella kun muotoilu. Tämä Kiri on semmonen pilipali suoritin jota ei missään tapauksessa tahdo omaan luuriinsa enää koksaan. Virranhallinta, graaffinen suorituskyky jne. surkeaa vs. kilpailijan vastaava.
Tämä ei pidä millään tasolla paikkaansa.
Tällä hetkellä toki tietyissä yhteyksissä (esim VR) haetaan mahdollisuuksia renderöidä eri osat ruudusta eri tarkkuudella ja näin voidaan tehdä, mutta se aloite tähän tulee aina sovellukselta, ei näytönohjaimelta.
Varmaan kertovatkin, jos oikein valittu testit. Mutta nämä, joissa puhelin boostaa virrankulutusta 100% ylöspäin ovat aika tyhjän kanssa.
Saman boostauksen voi laitevalmistaja halutessa tehdä mihin tahansa sovellukseen, joten kyseessä ei ole testisovelluksen vika.
Kritisoinkin testausmetodeja/testejä. Mikä hyöty on julkaista testejä, jotka eivät vastaa todellisuutta millään tavalla? Onneksi sentään Anandtechillä journalismi on sillä tasolla, että osaavat huomioida mahdolliset optimoinnit ja analysoida niiden vaikutukset. Toivottavasti myös io-techillä osataan ottaa asia huomioon.
Anandtech käyttää suorituskykytesteissään pitkälti samoja testisovelluksia kuin me io-techissä. Toki heillä on käytössä myös muita lisätestejä, joihin heillä on miljoonabudjetilla pyörivänä tahona mahdollisuus toteuttaa.
Toki tällaisia asioita pyritään myös meillä resurssien mukaan huomioimaan, mutta tämän kaltaisen huijauksen huomaaminen ei monissa tapauksissa ole käytännössä realistista käytettävissä olevien resurssien puitteissa. Tässäkään tapauksessa Anandtech ei itsekään ollut huomannut asiaa aikaisemmin laitetestien yhteydessä, kuten ei tietääkseni myös mikään muukaan testisivusto maailmassa.
Yleisesti ottaen en oikein ymmärtänyt syytä aggressiiviseen sävyyn viestissäsi.
AnandTechillä on tähän mahdollisuus täysin eri kokoluokan yrityksen takaamana, eihän tämänkään tutkimuksen toteuttamiseen olisi ollut mahdollisuutta ellei AnandTech olisi saanut kehittäjiltä heille kustomoituja versioita testiohjelmista mikä kysyy epäilemättä pankkitililtä saldoa
Itselläni on jutussakin mainittu P20 Pro, ja en voisi olla tyytyväisempi omistaja. Tosin en pelaa kuin muutamaa puzzle peliä kännykällä, joten en varmasti huomaa eroa testiohjelmien ja pelejen välillä. Suorituskyky on jokapäiväisessä käytössä ollut kiitettävä ja kamera mahtava. Akkukin kestää paremmin kuin missään älypuhelimessani tähän asti.
Eiköhän tosiasiassa kaikki valmistajat kuseta noita testituloksia nykyään. Osa enemmän, osa vähemmän.
Seuraavat älykapuloiden suorituskykytestit eivät vaadi miljoonabudjettia (ymmärrän Juhan pointin, resurssithan näissä ratkaisevat):
CPU Throttling Test
https://play.google.com/store/apps/details?id=skynet.cputhrottlingtest&hl=en_US
– Tuota kun ajaa sen 30min, niin useimmat hetkellisen CPU-piikkauksen jälkeisen lämpenemistongelmat ja throttling-suorituskykylaskut näkyvät. Kaikkea sekään ei kerro. Toki nuo pitää ajaa karkeasti vakiohuonelämpötilassa ja lähtien lepotilasta.
Ohessa esimerkki miten eri SD845-puhelimet laskevat suorituskykyä yrittäessään pitää lämmöt kurissa. Eri logiikat vaikuttavat eri tavalla FPS:iin mm. peleissä:
[HOW TO][GUIDE][MOD] Change Package Names of APKs
[HOW TO][GUIDE][MOD] Change Package Names of APKs
– Tee kertaalleen uudeelleen käännetyt apk:t testiohjelmista eri nimillä/ID:llä, joten suurin osa "älykkäistä huijauksista" puhelimissa ei tunnista enää testiohjelmia, eikä käynnistä buusti-tehoja:
HiroMacro Auto-Touch Scripts
https://play.google.com/store/apps/details?id=com.prohiro.macro&hl=th
– Tee oma todellista käyttöä, moniajoa, softien vaihtoa, copy/pastea, soittamista ja muita toimintoja simuloivaa kosketuskäyttöskripti. Aja se eri puhelimissa.
Kaikilla tämän hetken huippu-SoC:eilla on ongelmia pitkissä/raskaissa pelisessioissa: Kirin970, SD845, Exynos 9810. Kaikki laskevat suorituskykyään, koska jäähdytysjärjestelmät eivät pysy mukana (myös pelipuhelimet, ehkä poikkeuksena Asus ROG, jonka CPU Throttling testiä en ole vielä nähnyt).
Kertainvestoinnin työtä nämä toki vaativat, mutta kerran kun ne on tehty, niin skriptit ja modatut apk:t voi ajaa kaikissa testipuhelimissa. CPU Throttlen voi jättä pyörimään 30 minuutiksi, kun editoi kuvia tai naputtelee leipistä.
Seuraavat älykapuloiden suorituskykytestit eivät vaadi miljoonabudjettia (ymmärrän Juhan pointin, resurssithan näissä ratkaisevat):
CPU Throttling Test
https://play.google.com/store/apps/details?id=skynet.cputhrottlingtest&hl=en_US
– Tuota kun ajaa sen 30min, niin useimmat hetkellisen CPU-piikkauksen jälkeisen lämpenemistongelmat ja throttling-suorituskykylaskut näkyvät. Kaikkea sekään ei kerro. Toki nuo pitää ajaa karkeasti vakiohuonelämpötilassa ja lähtien lepotilasta.
Ohessa esimerkki miten eri SD845-puhelimet laskevat suorituskykyä yrittäessään pitää lämmöt kurissa. Eri logiikat vaikuttavat eri tavalla FPS:iin mm. peleissä:
[HOW TO][GUIDE][MOD] Change Package Names of APKs
[HOW TO][GUIDE][MOD] Change Package Names of APKs
– Tee kertaalleen uudeelleen käännetyt apk:t testiohjelmista eri nimillä/ID:llä, joten suurin osa "älykkäistä huijauksista" puhelimissa ei tunnista enää testiohjelmia, eikä käynnistä buusti-tehoja:
HiroMacro Auto-Touch Scripts
https://play.google.com/store/apps/details?id=com.prohiro.macro&hl=th
– Tee oma todellista käyttöä, moniajoa, softien vaihtoa, copy/pastea, soittamista ja muita toimintoja simuloivaa kosketuskäyttöskripti. Aja se eri puhelimissa.
Kaikilla tämän hetken huippu-SoC:eilla on ongelmia pitkissä/raskaissa pelisessioissa: Kirin970, SD845, Exynos 9810. Kaikki laskevat suorituskykyään, koska jäähdytysjärjestelmät eivät pysy mukana (myös pelipuhelimet, ehkä poikkeuksena Asus ROG, jonka CPU Throttling testiä en ole vielä nähnyt).
Kertainvestoinnin työtä nämä toki vaativat, mutta kerran kun ne on tehty, niin skriptit ja modatut apk:t voi ajaa kaikissa testipuhelimissa. CPU Throttlen voi jättä pyörimään 30 minuutiksi, kun editoi kuvia tai naputtelee leipistä.
Kiitoksia vinkeistä, pitää tutustua ja katsoa pystyisikö pienellä vaivalla lisäämään nykyiseen "testirepertuaariin".
Itsekin käytin Kirin-sarjaa Huaweissa ja olin tyytyväinen, mutta en pelannutkaan.
Moni PUBG:ia pelannut kertoo, että vielä GPUTurbo-päivitystekin jälkeen FPS tippuu alle 30 ja välillä peli jähmettyy kokonaan sekunneiksi paikalleen.
Eli hiottavaa valmistajilla vielä on.
Ja koska kukaan valmistaja ei ehdi käsin säätämään tehoprofiileja edes sadalle raskaimmalle/pelatuimmalle pelille, niin nämä suuremmat puhelinvalmistajan tekemät, softakohtaiset optimoinnit pitäisi kyllä jo jäädä unholaan.
Itse toivon, että Kirin 980 parantaa merkittävästi suorituskykyä tehonkulutuksen parantuessa, mutta Huawein omiin IFA-julkistuslukuihin en kyllä usko pätkääkään oikeassa käytössä (ovat käsin valittuja "best case" -skenaarioita).
Pahoittelut, jos koit viestini agressiiviseksi, mistään semmoisesta ei viestissäni ollut kyse.
Ihan aiheesta kuitenkin Anandtech ansaitsee mielestäni suitsutusta, koska ovat huomanneet tämänkin huijauksen. Ja vilpittömästi myös toivon että muillakin tahoilla (kuten esim. io-tech) olisi mahdollisuus huomata vastaavat ongelmat. Jos resurssit eivät riitä samaan kuin Anandtechillä, niin ehkä olisi jokin toinen edullisempi testimetodi, jolla voisi vastaavat optimoinnit huomata.
Sieltä lähti Huawein luurit 3DMarkista
Tietokoneella turbo/boost toimii pelistä tai sovelluksesta riippumatta aina.
puhelimessa "turbo" toimii vain testiohjelmassa mutta ei varsinaisessa käytössä = huijaamista.
Pahoittelut jos tulkitsin väärin. Anandtech ansaitsee ilman muuta suitsutusta ja on hienoa että he pystyvät tekemään tämän tyyppistä tutkivaa journalismia. Toivottavasti me io-techissäkin päästään vielä joskus lähemmäs tuota tilannetta, mutta ennen sitä pitää toistaiseksi keskittyä tekemään perusasioita mahdollisimman hyvin, eikä koittaa haukata liian isoa kakkupalaa kerralla. Ja aina toki pitää pyrkiä parantamaan nykyisilläkin resursseilla, ja siksi otammekin mieluusti rakentavaa palautetta ja kehitysehdotuksia vastaan ja pohdimme vakavasti mitkä niistä voisivat olla jo nyt toteutuskelpoisia :tup:
Hyvä että testisettiä kehitetään, mistä tulikin mieleen.
Ajelin tuota edellisellä sivulla mainittua CPU throttle testiä huvikseen tehopiirillä ja mopopiirillä eli: P10 pro:lla (Kirin970?) ja Nokia 6.1 :llä (sdm 630?). Hyvin nopeasti näkyy jos/kun jäähdytys ei riitä lastun TDP:lle.
Huawei jaksoi hitusen alle 4 minuttia ennekuin selvästi iski throttlea päälle. (Jännempi juttu, liekkö softassa, sensoreissa vai piirin jäähdytyksessä vikaa, kun osa coreista käy 10-20C kuumempana kuin muut. Molemmissa core clustereissa (hi-power/lo-power). )
Noksu paukutti 8,5 minuuttia kunnes piti lähteä tekemään muuta ja keskeyttää. Ei kerinnyt throttlata, lämmöt oli päässyt lähelle 50C eniten kuumenneilla coreilla eli luultavasti vakiotestin 15 minutin sisään olisi alkanut hidastella.
Eli luulisi tuon aika nopeasti nappaavan kiinni nuo Highend soc:t joista ei saada lämpöä siirrettyä tarpeeksi nopeasti ulos. Eli sinänsä varmaan aika triviaali nakata perus testisettiin messiin.
btw:
Molemmat luurit olivat testin aikana nahkakotelossa näytön läppä auki. Eli varmaan hieman pitempään jaksaisi täysillä painaa ilman tuota suojakoteloa.
Testailin myös jo tuota CPU Throttlea ja päätin tuossa jo, että otan sen todennäköisesti mukaan omiin testimetodeihini. Pitää myös analysoida aiempaa tarkemmin tuon GFXBenchin akkutestin suoritustkykykäppyröitä, joista näkyy selvästi suorituskyvyn lasku testin aikana.
Nyt oletkin sitten jännän äärellä, jos/kun paljastuu että GFXBenchin akkutesti ei oikeasti toimi, vaan se antaa parempia arvosanoja niille puhelimille, mitkä throtlaa herkemmin. Taas ne mitkä pyrkii pitämään kellot ylhäällä ja ovat hoitaneet jäähdytyksen paremmin kärsii. Tämä toki minun mutuni, mutta en ihmettelisi jos pitää paikkaansa.
Huawein puhelimet ovat ainakin saaneet huonoimpia tuloksia tuosta tämän vuoden lippulaivamallien kesken.
Kokeilin Nokia 8:lla ja kuuden minuutin päästä alkoi tekemään siksak kuviota. Puhelin oli kyllä tuollaisessa lompakkokotelossa joka varmasti estää lämpöä haihtumasta mutta ei nämä nykypiirit näillä jäähdytyksillä selvästikkään toimi kunnolla.
Tämä Oneplus 6 snapdragon 845 toimi oikein hyvin
OnePlus 6 yksilöt kyllä throttlaavat ihan yhtä hyvin, kuten y.o. videosta näkee. Ei taida kellään (ehkä Asus ROG?) olla sellaista jäähyä, että SD845 ei throttlaisi. Ei ainakaan OnePlussalla.
Tietenkin jos lähtölämpötila (ulko-/huonelämpötila) on riittävän alhainen, kestää throttlaus-lämmön saavuttaminen pidempään.
Jaa a, ei ole throtlaillut käytössä kertaakaan.
Mutta en myöskään pelaa testi ohjelmia vaan normi pelejä silloin tällöin +muuta mitä luurilla nyt yleensä tehdään.
Mistä tiedät ettei ole throttlannut?
Melkoisen merkityksetön asia jos sitä ei käytössä edes huomaa.
No kyllä tämä Nokia 8 toimii myös hyvin mutta pistäppä tuo rasitusohjelma päälle ja katso miten alkaa throttlaamaan. Itse en kännykällä oikein mitään pelaile niin tuo ei haittaa kun tehoa ei tarvitse kuin hetkellisesti.
Voin kuvitella tuon näkyvän jossain raskaissa peleissä aika ikävänä ongelmana.
En harrasta noita rasitus testejä luurilla kun en näitä kellottelekkaan. Pc:llä sitte semmosii.
Sitä en tiedä missä näkyy luurin throtlaus, ei tähän päivään mennessä ainakaan vielä ole tullu peliä tai sovellusta vastaan jonka käytössä voisi todeta että "Nyt kyllä throtlaa"
Onhan noita, jo yllä totesin. PUBG kyykkää.
Tässä sinulle MadOut 2 / Big City 2, joss OnePlus 6 throttlaa ja tiputtaa FPS:iä, kun lämmöt nousevat liikaa:
Muitakin löytyy, voit kaivaa itse.
En kyllä yleensä pelaa PC pelejä luurilla,enkä varsinkaan PUBG kun muutenki mun ignore listalla 😀
Madout Bigcity näyttää aivan surkeelta mut voin koittaa tippuuko Fps
Kokeilin tuota CPU Throttling -sovellusta parilla puhelimella ja totesin, että ainakaan lämpenemään sillä ei saa luureja juurikaan, verrattuna vaikkapa tuohon GFXBenchin Manhattan battery-testiin, jossa monet puhelimet lämpenevät oikein huolella.
Saman huomasin kun throttela testailin. Silti mm. kirin970 lyö jarrut päälle noin 4 minutissa luuri ei sinänsä tunnu kummoisesti lämmenneen. Tästä voi päätellä parikin asiaa.
– Lämpö ei johdu SoC/CPU:lta koko luuriin tai runkoon kovin tehokkaasti (tässä luurissa)
– CPU throttle testi kannatanee ajaa ennen GFXBenchiä.. saa ainakin tiedon kuinka pitkään se SoC jaksaa painaa täysilä ns. keskivertokäytössä kun vedät viileän luurin taskusta ja teet jotain raskasta
Toisin päin jos tekee, niin palikka on niin pirun lämmin, että throttle iskee tauluun lie heti. =)
Kuinkahan pieni prosentti maailman matkapuhelimien ostajista edes välittää huijaako joku saati vilkuilee suorituskykymittauksia? Veikkaisin, että aina pieni osa vaikka käyttäisikin laitetta paljon pelaamiseen.
Itsekkin katson laitteiden speksit aina erityisen tarkasti ja arvostelutkin luen tarkasti, mutta suorituskykymittaukset skippaan aina artikkeleista täysin, koska…no…ei kiinnosta.
Itse katson aina suorituskykymittaukset. Ei minua kiinnosta kyllä absoluuttiset luvut, vaan kuinka puhelin vertautuu saman hintaluokan puhelimiin. Ja tässäkin, jos Huawei olisi kaikista hitain (hintaluokassaan) ja maksaisi samanverran (kuten hintaluokka vähän terminä kertoo), niin se jäisi ehkä kauppaan (jos kameralla, näytöllä ja muilla ominaisuuksilla ei olisi painoarvoa).
Ei niistä spekseistä näe suoraan, että kuinka nopea laite on. Pahimmillaan siellä lukee "Kirin 8-ydintä, 2GHz" ja se ei sano minulle paljon mitään. Ytimet voi olla hitaita malleja, eikä GHz ole se absoluuttisen nopeuden yksikkö. Sen sijaan suorituskykytaulukko, jossa on kyseinen Kirin, vaikka S8:n Exynos ja Snapdragon 835, niin osaan heti katsoa, kuinka nopeasta laitteesta on kysymys.
Vaikka en pelaakaan puhelimella, näistä on tärkeää pitää meteliä myös siitä syystä, että jos valmistaja huijaa yhdellä osa-alueella, missä muualla on vedelty mutkia suoriksi tai suorastaan huijattu? Kuluttaja on se, joka näistä lopulta kärsii.
Myös puhelimien tietoturvapäivityksissä tapahtuu vastaavaa.
Mobiili.fi – Android-puhelinvalmistajat jäivät kiinni tietoturvapäivityksistä valehtelusta – testaa oman…