Wouf Wouf

Baskerville est une machine fonctionnant sur le réseau Deflect qui protège les sites contre l’acharnement des bots malveillants. C’est aussi un projet open source qui, à terme, pourra réduire les mauvais comportements sur vos réseaux. Baskerville répond au trafic Web, analyse les demandes en temps réel et défie ceux qui agissent de manière suspecte.

Les approches conventionnelles d’apprentissage automatique pour la détection d’attaques de réseau sont basées sur la reconnaissance de modèles de comportement, puis sur la construction et la formation d’un modèle de classification. Cela nécessite de grands ensembles de données étiquetés. Cependant, le rythme rapide et l’imprévisibilité des cyberattaques rendent cet étiquetage impossible en temps réel et nécessite un temps incroyablement long après l’incident. De plus, une approche basée sur les signatures est naturellement biaisée vers les incidents précédents (c’est-à-dire les signatures précédentes) et peut être déjouée par de nouveaux modèles inédits (c’est-à-dire les nouvelles signatures). Baskerville fonctonne avec un algorithme de détection d’anomalies non supervisé, Isolation Forest, qui ne nécessite pas de jeu de données étiqueté pour la formation. Nous améliorons l’algorithme d’origine afin de prendre en charge non seulement les fonctionnalités numériques mais également les chaînes du comportement présentes.

Nous avons formé Baskerville à reconnaître à quoi ressemble le trafic légitime sur notre réseau et à le distinguer des demandes malveillantes tentant de perturber les sites Web de nos clients. Baskerville s’est avéré très utile pour atténuer les attaques DDoS et pour classer correctement d’autres types de comportements malveillants. Il y a quelques mois, Baskerville a franchi une étape importante : prendre ses propres décisions sur le trafic jugé anormal. La qualité de ces décisions (rappel) est élevée et Baskerville a déjà réussi à atténuer de nombreuses attaques sophistiquées dans la vie réelle.

Baskerville dans l’infrastructure Deflect

Baskerville est également une canalisation complète qui reçoit en entrée des journaux Web, soit d’un sujet Kafka, soit d’un fichier journal brut enregistré localement, soit de fichiers journaux enregistrés sur une instance ElasticSearch. Il traite ces journaux par lots, formant des ensembles de requêtes en les regroupant par hôte demandé et IP de demande. Il extrait ensuite les fonctionnalités de ces ensembles de requêtes et prédit si elles sont malveillantes ou bénignes à l’aide d’un modèle qui a été formé hors ligne sur des données précédemment observées et étiquetées. Baskerville enregistre toutes les données et les résultats dans une base de données Postgres et publie des métriques sur son traitement (par exemple, nombre de journaux traités, pourcentage prévu de malveillants, pourcentage prévu de bénigne, vitesse de traitement, etc.) qui peuvent être utilisées par Prometheus et visualisées à l’aide d’un tableau de bord Grafana. En plus d’un moteur qui consomme et traite les journaux Web, un ensemble d’outils d’analyse hors ligne a été développé pour être utilisé conjointement avec Baskerville. Ces outils sont accessibles directement ou via deux blocs-notes Jupyter, qui guident l’utilisateur à travers les outils d’apprentissage automatique et les outils d’investigation, respectivement. Le cahier d’apprentissage automatique comprend des outils pour la formation, l’évaluation et la mise à jour du modèle utilisé dans le moteur Baskerville. Le cahier d’enquêtes comprend des outils de traitement, d’analyse et de visualisation des attaques passées, à des fins de rapportage.

Lisez cette enquête que nous avons menée comparant les analyses d’attaques humaines avec celles produites par Baskerville. Regardez également quelques diapositives liées au projet ici.