Baskerville – це механізм, що працює в мережі Deflect, котра захищає сайти від переслідування та шкідливих ботів. Це також проєкт із відкритим вихідним кодом, який з часом зможе зменшити погану поведінку у ваших мережах. Baskerville реагує на вебтрафік, аналізуючи запити в режимі реального часу та кидаючи виклик тим, хто діє підозріло.

Продуктивність Baskerville

1949 оскаржено (за останні 24 години)

98% точність (за останні 24 години)

34 пройдені виклики (за останні 24 години)

Традиційні підходи машинного навчання для виявлення мережевих атак базуються на розпізнаванні шаблонів поведінки, а потім побудові та навчанні моделі класифікації. Для цього потрібні великі масиви маркованих даних. Однак швидкий темп і непередбачуваність кібератак роблять таке маркування неможливим в режимі реального часу, а також неймовірно трудомістким після інциденту. Крім того, підхід, заснований на підписах, природно упереджений до попередніх інцидентів (тобто попередніх підписів) і може бути витіснений новими, раніше небаченими моделями (тобто новими підписами). Baskerville побудований на некерованому алгоритмі виявлення аномалій – Isolation Forest, який не вимагає маркованого набору даних для навчання. Ми вдосконалюємо оригінальний алгоритм, щоби підтримувати не лише числові, але й рядкові ознаки з поведінки, яка демонструється.

Традиційні підходи машинного навчання для виявлення мережевих атак базуються на розпізнаванні шаблонів поведінки, а потім побудові та навчанні моделі класифікації. Для цього потрібні великі масиви маркованих даних. Однак швидкий темп і непередбачуваність кібератак роблять таке маркування неможливим в режимі реального часу, а також неймовірно трудомістким після інциденту. Крім того, підхід, заснований на підписах, природно упереджений до попередніх інцидентів (тобто попередніх підписів) і може бути витіснений новими, раніше небаченими моделями (тобто новими підписами). Baskerville побудований на некерованому алгоритмі виявлення аномалій – Isolation Forest, який не вимагає маркованого набору даних для навчання. Ми вдосконалюємо оригінальний алгоритм, щоби підтримувати не лише числові, але й рядкові ознаки з поведінки, яка демонструється.

Baskerville також є повним конвеєром, який отримує вхідні вебжурнали з теми Кафки (Kafkatopic), локально збереженого необробленого файлу журналу чи файлів журналів, збережених в екземплярі Elasticsearch. Він обробляє ці протоколи (logs) пакетами, формуючи набори запитів, групуючи їх за запитуваним хостом і запитуваним IP. Згодом він витягує ознаки для цих наборів запитів і прогнозує, чи є вони зловмисними або нешкідливими, використовуючи модель, яка була навчена в автономному режимі на раніше спостережуваних і маркованих даних. Baskerville зберігає всі дані та результати в базі даних Postgres і публікує метрики щодо їх обробки (наприклад, кількість оброблених протоколів, відсоток прогнозованого шкідливого впливу, відсоток прогнозованого доброякісного впливу, швидкість обробки тощо), які можуть бути використані Prometheus та візуалізовані за допомогою інформаційної панелі Grafana. Для використання разом із Baskerville був розроблений набір інструментів офлайн-аналізу, а також механізм, який споживає та обробляє вебжурнали, для використання разом із Baskerville. Доступ до цих інструментів можна отримати безпосередньо або через два блокноти Jupyter, які допоможуть користувачу ознайомитися з інструментами машинного навчання та інструментами розслідування відповідно. Блокнот машинного навчання містить інструменти для навчання, оцінки та оновлення моделі, що використовується в механізмі Baskerville. Блокнот для розслідувань містить інструменти для обробки, аналізу та візуалізації минулих атак для звітності.

Ви можете ознайомитися з дослідженням, яке ми провели, порівнюючи аналітику атак з аналітикою, проведеною Baskerville.

Також перегляньте деякі слайди, пов’язані з проєктом, тут.