В условиях растущих киберугроз защита конфиденциальной информации становится критически важной задачей для всех секторов экономики. Рынок труда, оперирующий огромными объемами личных данных соискателей и работодателей, не является исключением. Новые разработки в области создания специализированных баз данных для киберугроз, использующие агентов на основе больших языковых моделей (LLM), могут существенно усилить безопасность персональных данных соискателей, работодателей и государственных служб занятости.
Эти системы призваны эффективно выявлять и предотвращать кибератаки, что особенно актуально для платформ, которые обрабатывают резюме, личные сведения, информацию о зарплатах и другие чувствительные данные.
Проблемы с традиционным подходом к Threat Intelligence
Изначальная задача создания базы данных для киберугроз, по информации Хабра, звучала просто: агрегировать данные из PDF-документов, записей об известных уязвимостях (CVE) и специализированных статей по кибербезопасности. Затем предполагалось передавать эти данные LLM-агентам для анализа. Однако в процессе реализации стало очевидно, что стандартные методы поиска по документам оказались неэффективными для данных Threat Intelligence (TI).
Эффективность информации об угрозах, как выяснилось, критически зависит от нескольких факторов: времени её публикации, надёжности источника и наличия конкретных индикаторов компрометации (IOC), таких как CVE-номера, IP-адреса, домены, URL-адреса, хеши и методы MITRE ATT&CK. Например, свежая информация об атаке, опубликованная накануне, значительно ценнее пересказа двухлетней давности. Аналогично, бюллетень производителя всегда будет более надёжным источником, чем анонимное сообщение.
Ключевые требования к новой системе защиты информации
Разработчики сформулировали четыре ключевых требования к новой системе для обеспечения её эффективности в контексте кибербезопасности:
- Деление текста на смысловые фрагменты, не привязанное к фиксированному количеству символов. Это позволяет сохранять контекст и повышать точность анализа.
- Извлечение всех значимых для информационной безопасности сущностей, включая CVE, IP-адреса, домены, URL, хеши, методы MITRE ATT&CK и названия вредоносного программного обеспечения.
- Дифференцированный учёт «свежести» данных в зависимости от их типа: новости, информация о текущих кампаниях или справочные материалы.
- Предоставление не только найденной информации, но и подтверждающих материалов: исходного текста, источника, URL и даты публикации, а также понятного объяснения оценки угрозы.
Такой подход позволяет LLM-агентам не просто находить похожие тексты, но и проводить контекстуальную оценку рисков, что критически важно для оперативного реагирования на возникающие киберугрозы в сфере обработки персональных данных.
Архитектура разработанного решения
Для реализации этих требований была спроектирована система, включающая следующие основные компоненты:
- FastAPI: Используется для приема входящих загрузок данных и запросов от пользователей.
- Postgres: Служит для хранения документов, их фрагментов, извлеченных сущностей, связей между ними, а также числовых представлений текста (векторов) с помощью расширения pgvector.
- MinIO: Предназначен для надёжного хранения исходных файлов и извлеченного из них текста.
- Фоновый обработчик: Выполняет все ресурсоёмкие операции, такие как извлечение и нормализация текста, деление на фрагменты, извлечение сущностей, расчёт векторов и создание связей между данными.
Использование модели BAAI/bge-m3 позволяет преобразовывать текстовые фрагменты в векторы, которые описывают их семантическое значение. Это даёт возможность находить тексты, близкие по смыслу, даже если в них используются разные слова. Все вычисления производятся локально, что обеспечивает высокий уровень безопасности и конфиденциальности обрабатываемых данных.
Влияние на рынок труда и соискателей вакансий
Внедрение подобных технологий в будущем может значительно повысить уровень защиты персональных данных, которые соискатели предоставляют на платформах по поиску работы и в своих резюме. Для работодателей это означает снижение рисков утечек конфиденциальной информации и более надёжную защиту коммерческой тайны.
| Аспект | Описание |
| :———————- | :——————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————— |
| :———————- | :—————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————-
Datos clave
| Punto | Detalle |
|---|---|
| Fuente | Хабр |
| Fecha | 2026-07-06T17:02:43+00:00 |
| Tema | Как мы строили свою базу данных о киберугрозах для LLM-агентов и SOC |
