Система мониторинга новостей Dzen

Полнофункциональная система автоматического мониторинга и анализа новостей с Dzen.ru с интеллектуальной NLP-группировкой в сюжеты и RESTful API для интеграций.

2500+
новостей/час
32
региона России
24/7
автономная работа

Ключевые возможности

  • NLP-группировка новостей в сюжеты
  • RESTful API без доплаты
  • 32 региона из коробки
  • Единоразовая покупка
  • Полный исходный код
01

Проблемы бизнеса

Боли компаний при мониторинге медиа

Какие проблемы решает Dzen Parser?

Компании сталкиваются с высокой стоимостью сервисов мониторинга, зависимостью от провайдеров и невозможностью кастомизации под свои задачи.

  • Медиалогия, Brand Analytics стоят от 50 000 ₽/мес
  • Данные хранятся на серверах провайдера
  • Ручной мониторинг отнимает часы времени
  • Одна новость публикуется десятками СМИ — нужна группировка
  • Региональная повестка остаётся без внимания
  • API либо нет, либо за доплату

Кому это знакомо

PR-агентства Пресс-службы Аналитики Госструктуры Финансы Исследователи

Цена бездействия

600К+
₽/год на Медиалогию
0
контроля над данными
Часы
ручного мониторинга
0
кастомизации
02

Решения Dzen Parser

Как система решает проблемы бизнеса

Что предлагает Dzen Parser?

Собственная система мониторинга с полным контролем над данными. Единоразовая покупка вместо ежемесячных платежей. Открытый исходный код для кастомизации.

  • Единоразовая покупка — ROI за 1-2 месяца
  • Данные на вашем сервере — полный контроль
  • Автоматический парсинг 24/7 — 2500+ новостей/час
  • NLP-группировка в сюжеты — TF-IDF + Union-Find
  • 32 региона России из коробки
  • RESTful API без доплаты

Процесс работы

1

Парсинг

~300 новостей/5 мин

2

NLP-анализ

TF-IDF векторизация

3

Группировка

Сюжеты и тренды

4

API/UI

Доступ к данным

Экономия по сравнению с SaaS

600К+
экономия vs Медиалогия/год
113К+
экономия vs Brand Analytics
1-2
месяца до ROI
кастомизация
03

Возможности системы

Полный набор инструментов для профессионального мониторинга

Парсинг и анализ новостей

Автоматический сбор ~300 новостей каждые 5 минут с дедупликацией по MD5-хэшу. NLP-группировка связанных новостей в сюжеты.

  • 15+ категорий: политика, экономика, спорт, технологии
  • 32 региона России с геолокационной фильтрацией
  • TF-IDF векторизация для оценки схожести
  • Union-Find алгоритм для транзитивной группировки
  • Извлечение именованных сущностей (pymorphy2)
  • Автоматическое определение главной новости сюжета

Категории и регионы

Политика Экономика Общество Технологии Спорт Культура Наука Происшествия

Характеристики системы

2500+
новостей/час
32
региона
15+
категорий
60
потоков парсинга
04

Технологический стек

Современные и проверенные технологии

Архитектура системы

Многослойная архитектура на базе Flask с NLP-обработкой и RESTful API.

  • Python 3.11+ — основной язык разработки
  • Flask 3.1 — веб-фреймворк с Flask-Login
  • SQLite WAL Mode — высокопроизводительная БД
  • BeautifulSoup + Selenium — парсинг
  • scikit-learn + TF-IDF — NLP-анализ
  • pymorphy2 — морфологический анализ
  • APScheduler — планировщик задач
  • Multi-threading — до 60 потоков

Технологии

Python 3.11 Flask 3.1 SQLite BeautifulSoup Selenium scikit-learn TF-IDF pymorphy2

Состав поставки

130+
Python-файлов
31K
строк кода
40+
файлов документации
30+
тестов
05

Сравнение и стоимость

Как Dzen Parser выглядит на фоне конкурентов

Преимущества над конкурентами

Dzen Parser — единственное решение с единоразовой покупкой, полным исходным кодом и неограниченной кастомизацией.

  • Единоразовая покупка vs подписка 50-600К ₽/год
  • Свой сервер vs данные у провайдера
  • REST API без доплаты vs платный API
  • Открытый код vs закрытое решение
  • 32 региона vs ограниченное покрытие
  • Кастомизация под задачи vs фиксированный функционал

Целевая аудитория

PR-агентства Пресс-службы Аналитические центры Госструктуры Финансовый сектор Исследователи

Стоимость владения за год

600К+
Медиалогия/год
113К+
Brand Analytics/год
Dzen Parser (разово)
экономия со 2-го года
Конкуренты
50-600К
₽ в год (подписка)
  • Данные у провайдера
  • API за доплату
  • Нет кастомизации
  • Зависимость от сервиса

Готовы к собственной системе мониторинга?

Получите полный контроль над новостной аналитикой без ежемесячных платежей

Запросить демо