Autor zaznacza, że celem opublikowanego artykułu nie jest opisanie zasad przeprowadzania testów. Tekst pokazuje jedną z potencjalnych konsekwencji obecnego szumu wokół testów dynamicznych: zwrócenie uwagi na testy dynamiczne może skłonić twórców szkodliwego oprogramowania do skoncentrowania się na sposobach obejścia możliwości ochrony produktów, a nie jedynie na ich zdolnościach wykrywania.

W artykule wykorzystano szereg przykładów i scenariuszy w celu oceny ryzyka związanego z testami dynamicznymi. Zaproponowano również sposoby, które mogą pomóc testującym zmniejszyć ryzyko. Jednak na początku, jako wprowadzenie, przedstawione zostały inne metody testowania.

Testy statyczne

Testy statyczne są najbardziej bezpośrednim typem testów: na kolekcji szkodliwego oprogramowania przyprowadza się skanowanie na żądanie. Obecnie, aby uzyskać sensowne wyniki, w testach statycznych należy użyć kolekcji szkodliwego oprogramowania zawierającej tysiące próbek. Kolekcje testowe wykorzystywane przez takie organizacje jak AV-Test czy AV-Comparatives zwykle zwierają setki tysięcy próbek, a w niektórych przypadkach nawet ponad milion. Ponieważ kolekcje testowe są tak ogromne, wyniki zawierają niewiele (jeżeli w ogóle) przydatnych informacji, które mogą pomóc twórcom szkodliwego oprogramowania w usprawnieniu ich tworów.

Kolejną istotną rzeczą w przeprowadzaniu testów statycznych jest sposób podziału kolekcji testowej. Niektóre mniej wiarygodne testy są przeprowadzane na dużym zestawie nieposortowanych próbek szkodliwego oprogramowania - nawet jeśli osoba testująca podaje wyniki dla podtestów wykorzystujących różne zestawy, nadal nie jest to dobra praktyka przeprowadzania testów.

Inne, bardziej wiarygodne testy dokonują właściwego rozróżnienia w publikowanych wynikach testów. Kolekcje testowe dzielone są na podzestawy - takie jak wirusy, robaki i trojany - a wyniki publikowane są dla każdego podzestawu. Niektóre testy idą nawet dalej i próbują rozróżniać na przykład między backdoorami a trojanami szpiegującymi.

W tym wypadku publikowane wyniki testów zawierają dość szczegółowe dane, nie są jednak zbyt przydatne dla twórców szkodliwego oprogramowania. Jedyne ryzyko związane z testami statycznymi dotyczy testów, które sprawdzają skuteczność wykrywania przez produkty polimorficznego/metamorficznego szkodliwego oprogramowania. Takie testy mogą wskazać słabości niektórych produktów.

Jednak Kaspersky Lab zauważa, że polimorficzne/metamorficzne szkodliwe oprogramowanie jest ze swej natury trudniejsze do wykrycia niż statyczne szkodliwe oprogramowanie. Twórca szkodliwego oprogramowania, który musi posiłkować się wynikami testów, aby to stwierdzić, prawdopodobnie nie ma wystarczających umiejętności, aby napisać takiego szkodnika. Ktoś, kto sam nie potrafi napisać polimorficznego szkodliwego oprogramowania, może teraz "zejść do podziemia", gdzie kupi taki kod, albo zamieści ogłoszenie i będzie poszukiwał osoby, która mu go stworzy.