Автор: Igor

Цей місяць був насиченим для Deflect: Banjax заблокував майже 12 мільйонів зловмисних запитів, запущених 108 294 різними ботами. Через повномасштабне вторгнення Росії в Україну багато людей зверталися по інформацію до сайтів українських ЗМІ, які були захищені Deflect. Протягом місяця Deflect обробив 1 128 751 920 запитів (майже удвічі більше, ніж попереднього місяця), з яких 283 570 50 надійшло з України – близько 20% від загального трафіку. 1 277 053 українців читали сайти, захищені Deflect – це також свідчить про стабільність інтернету в Україні.

Найбільша атака, зафіксована цього місяця, була спрямована на informator.ua – всеукраїнський новинний сайт з фокусом на Донбасі.

31 березня між 07:45-8:50 GMT+0 близько 1300 унікальних IP-адрес були заблоковані Deflect під час атаки на informator.ua за допомогою запитів GET /ru?8943563843054274 та POST /ru?829986440416200 з використанням технік перебору кешу. Ці боти були з Бразилії, США, Індонезії, Індії, Бангладеш та багатьох інших країн, майже 1000 з них, схоже, заразили роутери MikroTik. Кілька сотень були скомпрометованими вебсерверами та SOCKS-проксі. Сайт частково не працював протягом години, оскільки Deflect не зміг вчасно зупинити цю атаку, щоб переконатися, що на джерело не надходять зловмисні запити. Система Baskerville не відреагувала належно (це було виправлено). Ми увімкнули Challenger для цього домену, аби переконатися, що зможемо нейтралізувати майбутню атаку без жодних проблем для джерела. На нашу систему збору та аналізу логів вплинула загальна кількість запитів, і вона не синхронізувалася протягом короткого періоду часу.

Топ заборонених унікальних IP, за виробниками:

    912 MikroTikRouter
    232 Unknown
     51 UbuntuServer
     44 Torrouter
     33 DebianServer
     16 WindowsServer
      6 WindowsSystem
      6 RedHatServer
      4 CentOSLinuxServer

Топ заблокованих унікальних IP, за службами:

    875 MikroTik
    232
     49 Ubuntu-ssh
     44 TorExitRouterHTTPheader
     33 Debiansshheader
     13 MikroTikSNMPinfo
     10 MikroTikFTPserver
      8 MikroTikPPTPserver
      7 WindowsRDPServer
      7 MSIISheader
      6 WindowsNetBIOS
      6 RedHatDNSheader
      5 MikrotikRouterOSconfigurationpage
      4 ApacheCentOS
      2 WindowswithMSHTTPAPIWebServer

за клієнтською адресою:

199940     /ru
102142     /ru/category/biznes/login
37312      /ru/ukraino-rossiyskie-peregovory-v-stambule-itogi
3          /ru/post-prev/45573

З початку цього року ми обслужили понад 1,5 мільярда запитів на сайти для приблизно 13,5 мільйонів унікальних користувачів у всьому світі! Ми пом’якшили наслідки понад 17 масштабних атак та забезпечили нашим клієнтам доступ до сайтів на 100%! Наша комбінована технологія блокування ботів (машинні прогнозування від Baskerville та підтвердження аномалій від Banjax) заблокувала 5 794 533 зловмисних атак від 1 668 388 зомбі-ботів. Це досить багато для початку сезону.🙂

Деякі з найбільших атак були спрямовані на колумбійський незалежний журналістський сайт Los Danieles, філіппінське медіа Verafiles, латиноамериканське інформаційне агентство та індійський портал про права жінок.

Доволі незвичним випадком стало те, що сайт deflect.ca сам зазнав атаки 7 лютого. Близько 11:00-11:03 GMT+0 близько 10 000 унікальних IP-адрес надсилали GET-запити до deflect.ca. Жоден з цих запитів не був заборонений, оскільки вікно атаки було замалим. Baskerville добре спрацював, класифікувавши близько 5700 з них як зловмисні. Деякі запити повернули коди 502, але це переважно були зловмисні запити. eQPress поводився добре, обслуговуючи до 2620 запитів за секунду на nginx з 5000 RPS до бази даних і 100 мбіт/с вихідного трафіку. Жодних побічних збитків для інших клієнтів eQPress не було виявлено. В результаті цього інциденту ми дослідили й покращили логіку кешування.

2021 року мережа Deflect знову зросла за розміром та аудиторією. Для команди Deflect, яка займається моніторингом мережі та попередженням кібератак, окрім безперервної якісної роботи наших клієнтів, найбільше виділялося щораз вища складність та “точність” Baskerville. Часом вона навіть перевершувала людські набори правил, написані для бібліотеки обмеження частоти запитів інструментарію Banjax. Так, машина перевершує людей в Deflect. Ми не будемо заглиблюватися у філософію цієї реальності, а просто поділимося з вами статистикою та розповімо про атаки, свідками яких ми стали цього року.

Рік у статистиці

Відбиті атаки

4 листопада 2021 року близько 16:50 UTC розпочалася DDoS-атака на в’єтнамське медіа (також розміщене на EQPress). Було заблоковано від 2000 до 2500 унікальних IP-адрес із США, Канади, Німеччини, Франції та інших країн. Ці боти випустили близько 825 000 GET / і GET https://website.com// запитів під час цієї атаки. Більшість задіяних IP-адрес були виявлені як проксі-сервери, і багато з них мали IP-адреси в заголовку X-Forwarded-For. Основний екземпляр WordPress отримував до 5000 запитів на секунду, що змушувало сервер EQPress надсилати до 30 мегабіт на секунду html-відповідей. Завдяки кешу FasctCGI та загальному зміцненню конфігурації, кластер хостингової мережі мав достатньо ресурсів для обслуговування запитів, поки всі боти не були заблоковані без будь-яких значних проблем для самого вебсайту або його сусідів.

Baskerville виявив цю атаку і надіслав команди виклику на понад 2200 IP-адрес.

Ця атака була спрямована на незалежний сайт журналістських розслідувань з Філіппін. Атака почалася 15 листопада і тривала протягом наступних двох тижнів. Значна частина трафіку атаки була недоступна для Deflect, що призвело до переповнення дата-центру хостингу на рівнях L3/L4.

Майже 4000 унікальних IP-адрес надіслали понад 70 мільйонів запитів “GET /” і “GET /?&148294400498e131004165713TT117859756720Q106417752262N” до сайту, використовуючи техніку знищення кешу з випадковими параметрами query_string. Зловмисники використовували підроблені User-Agent в рядках запитів. Очевидно, ця атака була адаптована проти засобів захисту кешування Deflect. Багато IP-адрес, що брали участь в атаці, були проксі-серверами, які могли виявляти справжнього відправника за допомогою заголовка X-Forwarded-For.

На жаль, ця атака не була повністю нейтралізована швидко і призвела до кількагодинного простою для користувачів. Після ручного увімкнення розширених механізмів захисту Deflect та налаштування конфігурації джерела вебсайт знову став стабільно працювати.

Організація з контролю демократії в Замбії двічі була атакована між 8-9 та 11-12 серпня. Здається, коли зловмисники повернулися вдруге, вони не взяли до уваги свої помилки та спробували застосувати подібну техніку та майже ідентичний ботнет.

Сервери з різних країн (переважно США, Німеччини, Росії, Франції) надіслали понад 16 мільйонів GET / та /s=87675957 запитів (з випадковими номерами для обходу кешування) під час першого раунду атак. Під час наступного інциденту було зафіксовано та заблоковано понад 137 мільйонів шкідливих запитів.

Більшість з цих IP-адрес відомі як скомпрометовані сервери, які можна використовувати як проксі-сервери та маршрутизатори MikroTik. Було використано 383 унікальні заголовки User-Agent, всі вони були варіаціями Google Chrome. Також було виявлено близько 400 вихідних вузлів TOR, які були використані для цієї атаки.

Першу атаку не було повністю помʼякшено через її специфіку, і деякий трафік зміг потрапити на вихідний сервер, що призвело до кількох годин часткового простою для реальних відвідувачів на різних етапах цієї атаки. Другу атаку було повністю помʼякшено, оскільки ми вже оновили наші профілі помʼякшення.

Задача: розробити та впровадити систему для отримання та обробки зворотного зв’язку від клієнтів, доповнення та вдосконалення моделі машинного навчання. Створити модель, яка гнучко адаптується до відгуків клієнтів та змін у підписах запитів, а також дає змогу динамічно впроваджувати модель, водночас не порушуючи наявну інтеграцію.

Інакше кажучи: ми створили систему помʼякшення ботнету Baskerville, щоб мати змогу реагувати на нові та постійно змінювані моделі атак на мережу Deflect. Навчання пристрою на минулих атаках: ми досягли точки, коли Baskerville може ідентифікувати більше зловмисників, ніж ті, що були зафіксовані нашими статичними правилами. Зараз нам потрібно розширити цей функціонал, щоб приймати відгуки від наших клієнтів щодо точності прогнозів та мати змогу регулярно розгортати нові моделі без перерв у роботі сервісу.

Дизайн моделі

Існує кілька підходів оновлення моделей у реальному часі. Ви можете використовувати прості файли, кеш та виклик Rest API, механізм pub-sub; ви можете використовувати серіалізовані (pickled) моделі; моделі, що зберігаються в базі даних, та багато інших механізмів і форматів. Але основна концепція однакова: або перевіряти наявність нової моделі кожні Х одиниць часу, або мати резервний сервіс, який отримує сповіщення про зміни й піклується про перезавантаження моделі на вимогу. У нашому разі ми комбінуємо підходи.

Модель потребує постійного перенавчання, щоб відстежувати постійні зміни моделей трафіку. Загальна ідея дизайну полягає в тому, щоб відокремити конвеєр генерації функцій від конвеєра прогнозування. У результаті конвеєр генерації функцій обчислює супернабір функцій, а конвеєр прогнозування дає змогу різним версіям моделі використовувати будь-яку підгрупу функцій. Крім того, модель підтримує зворотну сумісність і використовує стандартне значення у разі застарілого конвеєра генерації функцій.

Щойно нова модель стає доступною, конвеєр прогнозування виявляє це і починає використовувати її без зупинки обслуговування. Коли функції потрібно змінити, модель встановлюється так само, але модуль користувача також потрібно буде оновити і повторно налаштувати. Клієнти оновлюватимуть цей модуль з нашого git-репозиторію. Важливо зазначити, що протягом часу, необхідного для оновлення модуля користувача, нова модель зможе взаємодіяти із застарілою користувацькою моделлю та надавати прогнози як зазвичай. Відсутність нових або змінених функцій у вхідних даних моделі не порушить сумісність, оскільки для відсутніх значень будуть використовуватися стандартні значення.

Зважаючи на те, що всі запити, отримані протягом вікна часу, повинні оброблятися однією моделлю, а зміна моделі повинна відбуватись або в кінці, або на початку періоду обробки. Для продуктивності ми вирішили помістити процес оновлення моделі в кінець PredictionPipeline, після того, як прогнози були надіслані клієнту через Kafka. Це допоможе збільшити час, необхідний клієнту для отримання прогнозів. На наступному малюнку показано, що відбувається, коли нова модель зберігається в базі даних під час і після обробки вікна часу (під час простою на очікування нового пакету). У першому разі наступне вікно часу буде оброблено зі старою моделлю, а в кінці буде завантажена нова модель. У другому разі, оскільки обробка поточного вікна часу ще не завершена, ми завантажимо нову модель в кінці обробки і наступне вікно часу матиме нову модель для роботи. Асинхронна природа навчання та прогнозування – основна причина перезавантаження. Ми провели кілька тестових запусків, щоб переконатися, що перезавантаження не впливає на продуктивність конвеєра.

Панель зворотного зв’язку

Щоб отримати від клієнтів зворотний зв’язок (наприклад, якщо прогноз виявився неправильним), ми розробили та спроєктували графічну інформаційну панель, що складається з двох основних компонентів: серверного REST API, створеного за допомогою Python Flask з підтримкою вебсокетів через Flask-SocketIO; та зовнішнього проєкту Angular, що спирається на node та npm. Процес зворотного звʼязку складається з трьох етапів:

1. Контекст відгуку: вкажіть деякі відомості про відгук, наприклад причину, період і необов’язкове поле для приміток. Причиною може бути один з наступних варіантів: атака, хибний результат, хибний негативний результат, істинний результат, істинний негативний результат тощо. Ми надаємо короткий опис кожної причини.
2. Фільтруйте набори запитів, що стосуються відгуку, використовуючи фільтри пошуку. Користувач також може надати файл CSV з IP-адресами для використання як фільтр.
3. The lОстаннім етапом є надання результатів відгуку до Baskerville (Координаційного центру). Оскільки маркування та надання зворотного зв’язку – доволі складний процес, ми розробили його так, щоб користувач міг пропустити останній крок (“Надіслати”), якщо він ще не готовий, та мав змогу надіслати результати пізніше. Координаційний центр отримає відгук у певний момент (за допомогою конфігурованого часового вікна каналу зворотного зв’язку) і, як тільки відгук буде опрацьовано, конвеєр відповість користувачеві в темі відгуку – за умовною назвою “{organization_uuid}.feedback”.

Також ми створили Retrain Pipeline, а ще сторінку інформаційної панелі, Retrain і функціонал, щоб полегшити нам періодичне оновлення моделі. Ця функція доступна лише в Clearinghouse, де розміщена модель.

Ця робота є результатом місяців кропіткої розробки, тестування та ітерацій. Якщо ви зацікавлені у використанні Baskerville на власних вебплатформах, будь ласка, зв’яжіться з нами. Наша робота доступна за ліцензією з відкритим вихідним кодом і розроблена з дотриманням принципів конфіденційності. Ми заохочуємо сторонніх розробників використовувати наш інструментарій поза екосистемою Deflect і незабаром опублікуємо ще одну статтю в блозі, в якій розповімо про запуск інформаційного центру Deflect Labs Clearinghouse. Стежте за новинами!

• Baskerville: https://github.com/equalitie/baskerville
• Baskerville User Client: https://github.com/equalitie/baskerville_client
• Baskerville Dashboard: https://github.com/equalitie/baskerville_dashboard
• Baskerville Docker components: https://github.com/equalitie/deflect-analytics-ecosystem
• Pyspark IForest fork: https://github.com/equalitie/spark-iforest

Ми вважаємо, що кіберзахист – це вдалий вид боротьби з правопорушеннями. Зважаючи на великий попит, ми запускаємо нову функцію, орієнтовану на клієнтів. Замість того щоб відбивати атаки, ми просто перенаправлятимемо їх на інший сайт на ваш вибір. Можете обрати серед ваших улюблених автосалонів, онлайн-казино чи блогів диктаторів. Кожен є мішенню для Deflect!

Трафік та атаки

З початку цього року ми обслуговували понад 2 мільярди відвідувань вебсайтів для приблизно 18 мільйонів унікальних користувачів у всьому світі! Ми пом’якшили понад 30 різних атак і підтримували наших клієнтів онлайн 100% часу! Технологія заборони ботів Banjax заблокувала 291 898 зловмисних атак від 58 181 зомбі-бота. Крім того, наша система прогнозування аномалій Baskerville змогла ідентифікувати та заблокувати підозрілі IP-адреси 1 182 084 рази, з яких лише 16 755 виявилися справжніми користувачами й отримали доступ до сайту, що їх цікавив. Це дорівнює 98,58% точності – що досить добре для машини!

Ці атаки допомогли нам підтвердити, що наша попередня реалізація індексу Шейплі в Baskerville мала позитивні результати. Це універсальний спосіб пояснити результати роботи моделі машинного навчання за ранжуванням важливості ознак, щоб допомогти нам зрозуміти, яка ознака працює найкраще. Ми використали цей алгоритм, щоб порівняти стару машинну модель з моделлю, яка використовує лише ті ознаки, які, на думку Шейплі, є важливими, на наборі даних, що містили останні атаки. Модель, яка використовувала лише найголовніші функції, перевершила стару.

Реферальна програма Deflect

На сьогодні бути фінансово успішним та незалежним в інтернеті непросто. Високі технології пронизують і контролюють практично кожен аспект нашого диджитал-досвіду. Коли йдеться про інтернет-інфраструктуру та мережеві послуги, корпоративні гіганти, такі як Akamai, AWS та Cloudflare, домінують у цьому просторі. Ці кілька компаній зуміли створити екосистему, в якій вони отримують прибуток практично з кожної транзакції чи рекламної кампанії. Хоча ми самі обираємо свою роль як споживачі, дедалі поширенішою проблемою стає нестача вибору. Так чи інакше, нас підштовхують до вибору кількох компаній.

Ми хочемо робити інакше . Наша мета – досягати успіху разом з нашими клієнтами, а не просто отримувати від них прибуток. Реферальна програма Deflect створює взаємовигідну комерційну можливість – зареєструвавшись у цій програмі та встановивши на своєму сайті значок «Захищено Deflect» з унікальним гіперпосиланням, ви отримаєте 50% від вартості першого повного місяця послуг з кожного нового клієнта, який підписався за цим посиланням. Напишіть на partner@deflect.network, якщо ви хочете взяти участь у цій програмі, або дізнайтеся більше про цю та інші можливості співпраці на сторінці “Партнерські програми”.

Новий вебсайт

Ви читаєте це оновлення на нашому новому сайті, який працює на WordPress і розміщений на безпечній платформі eQpress. Ми вирішили створити його, використовуючи стандартну тему 2020 року. Код підтримується командою WordPress і створений відповідно до найкращих практик. Це важливо, коли йдеться про запуск популярної (але часто скомпрометованої) платформи WordPress – легкість встановлення нових тем і плагінів знижує бар’єр для входу та робить її високофункціональною і кастомізованою. Водночас кастомні розробки коду стають застарілими, небезпечними і часто призводять до злому вебсайтів та ненавмисних DDoS-атак. Наша конфігурація охоплює:

– Захист від DDoS-атак та механічного перебору паролів

– Щоденні знімки та диференціальне резервне копіювання

– Довгострокова підтримка тем WordPress

– SEO-менеджмент, підтримка в чаті, Matomo Analytics, переклади Polylang

Понад 25% клієнтів Deflect також розміщують свої вебсайти на eQpress. Послуга детально описана на сторінці eQpress. Ви можете замовити її за допомогою “Панелі управління” або зв’язатися з нами щодо будь-яких питань.