Настройка обработки данных

При установке опции process=1 в файле netflow_ipn.properties коллектор начинает принимать задания на обработку часовых логов для "своих" источников. Команды передаются в следующих случаях:

  1. При переходе часа генерируются задания на обработку логов прошедшего часа;

  2. Если количество минут текущего часа кратно параметру generate.minutes в файле netflow_ipn.properties генерируются задания на обработку логов текущего часа;

  3. При передаче сторонним ПО команды isload коллектор помечает логи загруженными и запускает их обработку;

  4. Обработка, либо переобработка логов может быть запущена администратором системы в Менеджере источников модуля.

При повторной переобработке логов за какой-либо час данные не суммируются, переобрабатывать логи можно неограниченное количество раз. Весь контроль за обработкой данных осуществляется через вкладку Менеджер источников.

images/download/attachments/43386032/x_225.gif

Для просмотра состояния логов по источнику выберите месяц и источник в списке слева. Загруженные и обработанные логи выглядят как на приведённом выше снимке экрана.

Чтобы переобработать логи за какой-либо час - выберите мышью требуемые часы, затем вызовите меню нажатием правой кнопкой мыши. В появившемся меню добавьте в обработку логи, либо для выбранного источника, либо для всех источников модуля. Нажимая кнопку Обновить по изменению цвета можно отслеживать обработку логов коллектором.

Если по какой-либо причине необходимо полное перечитывание лог-файла с последующей переобработкой (например, произошла подмена ошибочных лог-файлов на исправленные), то можно добавить логи в загрузку. Аналогично, необходимо выбрать требуемые часы, вызвать контекстное меню нажатием правой кнопки мыши и далее Добавить в загрузку. Данная опция есть в наличии только в случае, если у источника установлен флаг use.load=1 в конфигурации.

Если логи для какого-либо источника за какой-либо час принимаются коллектором, либо переданы командой isload извне, а файл пуст, либо его объем минимален, то квадрат лога помечается красной точкой в центре, что означает Нулевой объем.

По результатам обработки в договорах на вкладке Отчет при выборе интересующего месяца и услуг должен появится отчёт по трафику.

images/download/attachments/43386032/x_227.gif

Отчет может быть просмотрен за день, месяц и год, в байтах, Мб и Гб. Если вопреки ожиданиям трафик договора не отобразился, выполните следующие шаги:

1. Проверьте наличие трафика по адресам абонента в бинарных логах за час. Для этого используйте команду ./netflow.sh save для UNIX-систем, netflow.bat save для MS-систем. В параметрах команды передаются код источника, час лога и файл, в который лог будет экспортирован в виде текста. Для уточнения синтаксиса запустите netflow.sh(.bat) без параметров;

2. Попробуйте для начала сделать правила в привязках, в которые попадёт весь трафик, любой входящий и любой исходящий. Если вам не получается отфильтровать требуемый вам вид трафика - также обратитесь к первичному логу.

Ошибки обработки трафика фиксируются в Сервис=>Журналы=>Журнал ошибок. Там отображаются пакеты, для которых не была определена услуга. Для просмотра журнала выберите модуль в выпадающем списке и дату.