Cum funcționează un centru pentru testarea antivirușilor

Un articol din seria “cum funcționează”, dar nu vă arăt nici o fabrică de mașini și nici depozitul eMAG, ci un centru de testare a antivirușilor. În lume sunt două mari organizații independente de testare: AV-Comparatives din Austria, mai exact Innsbruck, și AV-Test din Germania.

Acum sunt la AV-Comparatives. Ce vedeți mai jos este camera de control a testului. Testele comparative sunt foarte complexe pentru că:

• se folosesc computere reale, nu mașini virtuale (unii viruși reacționează altfel pe VM).
• se testează pe configurații normale, asemănătoare de media din comerț dpdv hardware și software instalat.
• programele de securitate sunt testate pe aproximativ 200.000 – 300.000 de viruși descoperiți în ultimele luni și multe URL-uri de phishing și malware.
• în toate testele se fac screenshot-uri, log-uri de fișiere modificate, ce și cum a detectat antivirusului, când și cum a reacționat, plus clipuri video.
• situațiile se salvează pentru replicare ulterioară.

De aici rezultă configurația uimitoare a centrului de testare.

• rackurile din stânga sunt pline de stații de lucru, câteva zeci de bucăți.
• 25 de monitoare sunt disponibile pentru a fi conectate la stații.
• rack-ul din dreapta conține servere de control și 400 TB de spațiu de stocare.
• în total au 600 GB de memorie RAM instalată în echipamente.
• serverul de control rulează un soft dezvoltat de AV-Comparatives care pornește și oprește stațiile de testare, le instalează sistem de operare, le atacă, le pune să intre pe net pe site-uri dubioase, să se uite la pornografie, să dea click pe linkuri din emailuri ciudate, să instaleze toate toolbar-urile pe care le vor. Tot acest server face și screenshot-uri, video-uri, loguri și tot restul.
• au 3 conexiuni independente la net, 256 de IP-uri și acces la IP-uri din întreaga lume (unele malware-uri infectează doar anumite țări, așa că trebuie simulat că ar fi de acolo).

De ce se pune mare preț pe rezultatele testelor AV-Comparatives? Pentru că au o procedură de testare foarte bine pusă la punct, exhaustivă, care minimizează șansa de a greși un test și pentru că sunt o organizație independentă. E genul de industrie în care contează nu numai rezultatul, ci și cine a făcut testul, iar AV-Comparatives este un nume respectat în toată lumea.

De ce i-ai crede că sunt independenți? Eu i-am crezut. Am văzut aici numai oameni pasionați de acest domeniu, oameni care au pornit de la zero din dorința de a testa pe bune și au creat o organizație mare și frumoasă. În plus, procedura de testare, fiecare detaliu, este discutat cu fiecare furnizor de antivirus și cei care au obiecții pot cere modificarea ei. După testare producătorii au acces la toate log-urile și rezultatele detaliate, astfel încât dacă vor considera că au fost depunctați inutil sau că testele au fost greșite pot face contestații și se poate resimula totul.

O parte din independență vine și din metodele de finanțare. AV-Comparatives cere o sumă fixă de la fiecare producător care dorește să introducă un produs în test, un fel de taxă de participare. În plus sunt finanțați de două universități prin programe de cercetare (Innsbruck și Hong Kong), de un institut de dezvoltare a tehnologiei și de statul austriac, care vrea să știe ce antivirus să cumpere.

AV-Comparatives nu are profit. Au cheltuieli anuale de aproximativ 500.000 de euro și le susțin din aceste finanțări fără a face și profit.

Programatorii care au făcut softul de control și testare automatizată (i-am cunoscut ieri, tinerei) au făcut o frumusețe de program. Am văzut screenshot-uri și pe cât de complex este pe atât de ușor de înțeles dintr-o privire mi s-a părut. Nu doar partea de raportare și logging, dar până și pe screenshot-urile ce se fac periodic se rulează programe OCR care identifică eventualele mesaje de la antivirus, automatizând întregul proces.

Am apreciat și grija pentru detalii. URL-urile cu malware se testează simultan, pentru că în timp dispar sau sunt raportate ca fiind nocive. Bine, nu chiar simultan, ci la o întârziere de 5 secunde, pentru a nu porni fix în același timp toate mașinile și a nu face un fel de spam acolo. Și testează simulând IP-uri dintr-o anumită țară, dar mereu schimbate, pentru că unele malware nu infectează același IP de două ori, ba chiar și cu diverse setări localizate de Windows. V-am spus, oameni pasionați și atenți la toate detaliile. Nimic din ce am auzit că fac nu mi s-a părut “la nimereală”.

Contează un astfel de premiu de la AV-Comparatives? Da, foarte mult. Când o revistă precum PC Magazine, cu milioane de cititori, spune “cumpărați Bitdefender pentru că experții de la AV-Comparatives spun că-i cel mai bun și noi avem încredere în ei”, e ceva. Apoi în lumea corporate sunt foarte multe echipe tehnice care nu pot testa chiar ele toate programele de pe piață atunci când aleg un soft pentru o firmă cu mii de calculatoare, dar care au încredere în AV-Comparatives și rezultatele lor.

E ca atunci când ești bolnav și ai încredere în ce-ți recomandă medicul, nu te apuci tu să înveți medicina de la zero. Bine, nu mă îndoiesc că la noi în țară vor fi mulți care vor spune că știu ei mai bine că X e mai bun și Y e mai lent și Z nu detectează nimic, bazat nu pe teste de 300.000 de viruși, ci pe 1-2 pățanii personale.

Cu altă ocazie vă spun mai multe despre Bitdefender pentru că am avut ocazia să discut una alta cu CEO-ul companiei, dl. Florin Talpeș. Până atunci, mai jos este un top al antivirușilor pentru rezultatele unui test Real World Protection Test de anul trecut:
Bitdefender
G Data
Trend Micro
F-Secure
BullGuard
Qihoo 360 (popular în China)
Kaspersky

Cele cu bold folosesc tehnologie Bitdefender, cumpărată de la români de către respectivele firme sub forma unor parteneriate. V-am mai spus că avem toate motivele să fim mândri că un soft atât de performant și avansat dpdv al tehnologiei de detecție este produs integral în România.