德国评测机构AV-TEST发布腾讯评测作弊的调查报告

浓浓

　　5月1日消息，德国著名评测机构AV-TEST发布了一份针对腾讯在其评测中作弊的调查报告，报告称，有确凿证据证明腾讯有操纵AV-TEST性能测试并且会降低产品整体防护能力的作弊行为。以下是AV-TEST报告全文：
　　文档版本：1.0，发布日期：2015年5月1日
　　概要
　　我们注意到腾讯在AV-TEST性能测试结果的一个大幅进步。其中，在过去14个月里，腾讯是拥有最大标准偏差的产品，标准偏差为3.36，而平均值为1.3。这表现了腾讯的产品在这段时间内结果的巨大差异。因此，我们必须进一步调查。
　　1.测试结果
　　我们列出腾讯的测试结果，并指出开始发生变化的地方。下表显示随着时间的推移及哪个版本被测试。请注意，AV-TEST的分数从5(非常好)至25(非常糟糕)的范围。腾讯的测试结果如下：

　　这个结果显示腾讯版本从8.10到10.4的过度，当中的变化是非常明显的。而12月的测试仅显示轻微改善，但是在2015年1月开始又出现一个巨大的进步，直到3月腾讯的性能几乎没有影响。
　　2.技术背景
　　基于以上测试结果，我们开始检查腾讯8.10版本和10.4版本之间的差异。我们发现一个文件名为av.dat，这个文件看起来是作为程序的某种设置。它不是一个可读文件格式，但可以很容易地进行解密。下图显示了2014年12月的原始文件。

　　该文件可以很容易地被解密，我们在12月得到了一些有趣的字符串出来：
　　commonProcWlist=msfeedssync.exe,setup.exe,msiexec.exe,soffice.exe,soffice.bin,simpress.ex
　　e,swriter.exe,AcroRd32.exe,AdobeARM.exe,maintenanceservice,AdbeRdr,jre-
　　,LibreOffice,Firefox,Thunderbird,install_flash_player
　　对于AV-TEST，这是可疑的，因为其中列出的程序和文件名都是被用于AV-TEST的性能测试的程序。所以，我们做了进一步调查，并发现腾讯在1月和3月也出现类似的事情：
　　commonProcWlist=msfeedssync.exe,setup.exe,msiexec.exe,soffice.exe,soffice.bin,simpress.ex
　　e,swriter.exe,AcroRd32.exe,AdobeARM.exe,maintenanceservice,AdbeRdr,jre-
　　,LibreOffice,Firefox,Thunderbird,install_flash_player
　　commonInstallerWlist=install_flash_player,jre-, AdbeRdr, Firefox_Setup_,
　　Thunderbird_Setup_, setup.exe
　　commonInstallerSignerWlist=Adobe,Oracle,Adobe,Mozilla,Mozilla,Mozilla
　　注：在1月这个文件增加了两个新的属性：commonInstallerWlist和commonInstallerSignerWlist。其他属性保持不变。这种变化有助于他们提高自己的得分：从9进步到5。
　　现在的av.dat还有另一种更新，包含以下信息：
　　commonProcWlist=smss.exe,csrss.exe,conhost.exe,wininit.exe,services.exe,svchost.exe,lsm.ex
　　e,lsass.exe,qq.exe,chrome.exe,msfeedssync.exe,setup.exe,msiexec.exe,soffice.exe,soffice.bin,s
　　impress.exe,swriter.exe,AcroRd32.exe,AdobeARM.exe,maintenanceservice,AdbeRdr,jre-
　　,LibreOffice,Firefox,Thunderbird,install_flash_player,Procmon.exe,skype.exe,procexp.exe
　　commonInstallerWlist=install_flash_player,jre-, AdbeRdr, Firefox_Setup_,
　　Thunderbird_Setup_, setup.exe,VS80sp1-KB,QQ6.,QQ7.
　　commonInstallerSignerWlist=MicrosoftCorporation,Google,TencentTechnology,Adobe,Oracle,
　　Adobe,Mozilla,Mozilla,Mozilla
　　如上所呈现的，所有的三种属性已增加了更多的文件和进程名。这是因为AV-TEST同时也拓展了测试集合，例如：Skype，同样的也出现在av.dat的更新。
　　3.进一步分析
　　这些现象实际上代表什么?
　　我们假设这些属性是用来告诉产品在那些文件被存取的时候可以跳过扫描或是检查，这对于性能测试是重要的。因为，如果产品不需要扫描这些文件，就可以省下很多时间进而在这些文件的测试上得到好的性能成绩。
　　腾讯在他们的产品使用Avira和他们自己的云引擎，而且这些属性只会影响他们的云引擎。这些配置在av.dat的文件名不会被腾讯的云引擎检查但依然会被Avira引擎检查。为了验证这个说法，我们必须找到不会被Avira检出但会被腾讯云引擎检出的文件。我们重命名这些文件为AdbeRdr.exe来检查这些文件是否会被报出。
　　结果显示这些重命名的文件不再被检出了，很明显的，腾讯的云引擎不会去扫描带有特定的文件名或是数字签名的文件。这是一个以牺牲整体防护能力为代价，操纵AV-TEST性能测试结果的产品。