準(zhǔn)確率與誤報(bào)率的數(shù)字游戲

時(shí)間：2022-03-23 12:39:01 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-03-23 12:39:01 來(lái)源：行業(yè)動(dòng)態(tài)

我們對(duì)安全攻擊的預(yù)警準(zhǔn)確率已經(jīng)達(dá)到99%以上，這樣的宣傳口徑在利用AI技術(shù)實(shí)現(xiàn)的主動(dòng)防御方案中逐漸成了主流，但這個(gè)數(shù)字背后所隱藏的秘密卻很少有人注意，只有對(duì)安全行業(yè)有一定了解的人才會(huì)對(duì)這樣夸張的數(shù)字產(chǎn)生疑問(wèn)，如果真的達(dá)到99%以上的預(yù)測(cè)準(zhǔn)確率，那說(shuō)明這項(xiàng)技術(shù)已經(jīng)十分成熟，早就應(yīng)該大規(guī)模商用了。

但遺憾的是，這一數(shù)字背后隱藏著一個(gè)巨大的坑，就是誤報(bào)率的問(wèn)題，我們知道當(dāng)我們把所有異?，F(xiàn)象都視作攻擊威脅的話(huà)，系統(tǒng)預(yù)測(cè)的準(zhǔn)確率將達(dá)到最高，甚至可以做到100%報(bào)警，因?yàn)樗械墓羰录及谒婢姆秶畠?nèi)，但這有什么意義呢？因?yàn)樵诎踩I(lǐng)域還有一個(gè)不能忽視的參數(shù)是誤報(bào)率，如果預(yù)警報(bào)告100次攻擊威脅，但最終只有50次攻擊是準(zhǔn)確的，剩下的50次異常沒(méi)有出現(xiàn)威脅，那誤報(bào)率就達(dá)到了50%，相對(duì)實(shí)際的預(yù)測(cè)準(zhǔn)確率就只有50%，而如此之高的誤報(bào)率還會(huì)對(duì)安全維護(hù)工作造成極大的干擾和負(fù)擔(dān)。

由于誤報(bào)會(huì)對(duì)系統(tǒng)的正常使用造成重要影響，所以目前安全廠(chǎng)商大多只強(qiáng)調(diào)自己產(chǎn)品的預(yù)測(cè)準(zhǔn)確率，而對(duì)誤報(bào)率避而不談，這其實(shí)還會(huì)帶來(lái)一個(gè)比較嚴(yán)重的后果，就像狼來(lái)了的故事一樣，當(dāng)屢屢出現(xiàn)誤報(bào)之后，維護(hù)人員很容易把真正的威脅忽略掉。因此，我們要對(duì)一款具備主動(dòng)防御能力的安全產(chǎn)品性能指標(biāo)進(jìn)行評(píng)估時(shí)，準(zhǔn)確率和誤報(bào)率應(yīng)該同時(shí)考慮，而廠(chǎng)商也應(yīng)該在這兩者之間做好一種平衡性，給出一個(gè)更加客觀(guān)有效的性能參數(shù)，這樣才會(huì)對(duì)實(shí)際應(yīng)用具備參考價(jià)值。而目前看來(lái)，基于A(yíng)I的智能安全產(chǎn)品大多都存在這樣的問(wèn)題，但我們要承認(rèn)智能安全的演進(jìn)方向必定將成為未來(lái)安全市場(chǎng)中的主要方向，其產(chǎn)品的成熟度也將在市場(chǎng)中進(jìn)一步得到驗(yàn)證。