能手机测试软件的猫腻:赞助决定跑分

camio

具体谁高，看谁给我的赞助多。如果谁干脆把测试软件收购了，那想怎么调就怎么调。在测试得分中的权重变更，可以让低性能的机器得到高分，高性能的机器得到低分。

现在做一项手机评测，不跑个测试软件总是显得不科学。也有很多爱好者拿测试软件的跑分来作为手机性能的唯一依据。实际上，智能手机测试软件是个出现相当晚的东西，而智能手机测试软件因为各种原因，往往会存在一些问题。测出来的分数和实际的性能体验可能是两码事。

在PC跑分最热闹的时代的跑分软件，CPU跑跑圆周率看单线程性能，内存带宽、硬盘之类的跑跑SiSoft Sandra，显卡跑跑3Dmark，在几个能测试帧速的游戏里面输入指令，进行测试。
后来，CPU多核了，CPU跑跑国际象棋，跑跑渲染。基本是一项是一项的分数。因为PC也好，智能手机也好，不同类的项目是不能加成的，因为不靠谱。CPU快，GPU慢的，综合一得分和CPU慢GPU快的一样，而实用起来，CPU快的跑日常程序快，GPU快的跑游戏快。总分一样两个机器，体验天差地别，跑分失去意义。
更成问题是的，测试软件通过变更权重，可以随意跑出不靠谱的分数来误导。譬如这一波产品，A家的GPU强，那么我在综合得分中，调高GPU的权重，A家的产品得分就高了。B家用内存快，我调高内存得分的权重，B家产品得分就高了。

具体谁高，看谁给我的赞助多。如果谁干脆把测试软件收购了，那想怎么调就怎么调。在测试得分中的权重变更，可以让低性能的机器得到高分，高性能的机器得到低分。
有人说综合跑分不行，我看里面的单项行不行？很遗憾，这个也有局限。最难做手脚的是处理器得分（或者说做手脚容易被抓住，需要脸皮够厚）。这个是算东西硬算出来的，但是这种得分也有差别。
问题就在你选的项目的上，加减乘除、渲染、人工智能、加密解密。而有些处理器是有硬件加速的。譬如Intel的处理器算除法比较快，当年跑圆周率，AMD跑吐了血也比不上Intel，但是实际应用则未必。
现在苹果的A7处理器，带加密算法的硬件模块，去跑一些包含加密算法的测试软件的时候，成绩就远远超过其他处理器，而真应用则未必。

单项项目，因为硬件的差异和测试项目的选择，也能跑出跑分和实际应用不符的例子。GPU更是如此，如果GPU的渲染能力强，跑像素多的画面分就高，建模能力强，跑结构复杂的3D图形分就高。显存带宽大，跑高分辨率得分就高。而测试用3d场景、分辨率的选择，可以让GPU的跑分天差地别。
靠谱的测试，需要体现用户真正需要的性能。对智能手机来说，系统的用户界面、系统在带的APP是否开启快速运行流畅。你的手机跑这几百种APP是否流畅？开启是否快速？这些常用常玩的游戏是否流畅，3D特效是否出色。这才是用户想知道的。其实，在服务器上，很早就这样来跑分了。用服务器常用的一些程序，以某个年代的一台机器为基准。后来的机器跑同样的程序，看看你时间和效率是那台基准机器的多少倍，这就是SPEC的测试。
这种测试才是真功夫，智能手机端还缺乏这种测试程序。

[ Edited by  camio on 2014-7-4 09:39 ]

camio

雷哥还能不能愉快的跑分了？兔子在手，第一我有