Как работает пайплайн
Путь сообщения от источника до алерта и петли контроля качества. Каждый шаг обогащает событие и оставляет след, который видит оператор.
1
Сбор (ingest)
Парсеры и краулеры (Telegram, VK, RSS, сайты) шлют сообщения → создаётся raw_item. Источник можно добавить рецептом без кода.
2
Triage
Быстрый фильтр: мусор/реклама → filtered; релевантное → triaged. Считается triage_score и предварительный тип события.
3
NER-разметка
Выделяются сущности (люди/места/организации) движками natasha/GLiNER, привязываются к реестрам (линковка).
4
Сигналы
Классификация контента, deal-intent (сделки), sentiment, гео-событие — пишутся как content_signal.
5
Инциденты + алерты
Похожие сообщения группируются в инцидент; при совпадении с подпиской дружины — уходит уведомление (telegram/push).
6
Модерация (петля качества)
Оператор классифицирует/верифицирует, смотрит связанные события, помечает ложные. Вердикты улучшают будущую авто-классификацию.
Где это видно в интерфейсе
- Лента / Источники / Мониторинг — сбор и состояние пайплайна.
- Модерация → Классификация — triage, разметка, связанные события, массовая обработка.
- Верификация — подтверждение инцидентов.
- Карта / Граф / Отчёты — результат: где, кто/что связано, сводка.