Mikrotik - Анализ трафика - NetFlow Analyzer

Своим мини обзором хочу рассказать об одном программном продукте, который очень хорошо помогает при анализе трафика. Да, продукт коммерческий, но по моему он того стоит. Имя ему ManageEngine NetFlow Analyzer.


Это web приложение, написанное на Java, в качестве http сервера выступает Apache, для хранения данных используется MySQL.

Используя NetFlow Analyzer возможно собственноручно конструировать функциональные «приборные панели», пригодные для мониторинга наиболее важных участков сетевой инфраструктуры. Каждая такая панель создается с учетом специфической роли отдельного администратора и может состоять из многочисленных элементов (виджетов), отвечающих за извлечение информации из различных источников.

Благодаря наглядности приборных панелей NetFlow Analyzer можно с первого взгляда оценить сложившуюся ситуацию, получить представление о текущей нагрузке на различные участки сети и изучить показатели производительности, не тратя времени на поиски и просмотр разрозненных отчетов. В комплект поставки NetFlow Analyzer включено более полусотни «виджетов».

Начнем с самого начала, т.е. установки и начальной настройки.

Установка NetFlow Analyzer.

Скачиваем под интересующую нас платформу (Windows, Linux), в нашем случае это Windows.

Запускаем.

Все компоненты ставятся в одну папку, по этому при желании можно выбрать любую.

Так же при установки запрашиваются порты, по которым будут работать сервисы. Порт web интерфейса и порт, на который будут приходить NetFlow пакеты.

Указываем, что бы запускалось как служба.

Указываем регистрационные данные

В общем все как всегда, "Далее", "Далее", "Согласен", "Опять Далее", "Финиш!".

По завершению установки запускается браузер, которые попадает на страницу авторизации, по умолчанию пользователь admin, пароль admin.

Настройка микротика.

Тут все готово, теперь идем в консоль управления микротиком и направляем поток с данными на наш сервер.

Ну или все тоже самое, только из консоли:

/ip traffic-flow set enabled=yes
/ip traffic-flow target add address=192.168.1.78:9996 version=9

Первой командой активируем сервис, второй указываем принимающую точку, порт и версию протокола.

Начальная настройка NetFlow Analyzer.

Теперь войдем в NetFlow Analyzer и посмотрим что же у нас получилось. Первое, куда попадаем, это список интерфейсов, за которыми ведется наблюдение, в данном примере интерфейсы с именами IfIndex это входящие соединения по vpn, интерфейсы comgate и vcraft* это провайдеры, local это интерфейс локальной сети.

Если что то не получилось, то имеет смысл проверить соответствие портов, по которым анализатор слушает и порт, который указали в микротике. Перейдем в раздел Admin Operations, Product Settings.

Server Settings - Настройки сервера.

NetFlow / sFlow Listener Port - порт, на который принимаются потоки с устройств. WebServer Port - порт веб интерфейса. Count Of Top Records to Store - максимальное количество строк, выводимое в таблицах с данными.

DNS Settings - Настройки определения dns имен.

Resolve only when "Resolve DNS" link is clicked - По умолчанию выбрано, Определять имена по клику на "Resolve DNS".

Resolve DNS names automatically by default- Определять имена автоматически (замедляется работа)

Resolved DNS count in cache - Размер DNS кэша.

User defined DNS names - Здаесь можно задать статические dns записи.

Наверное вторым местом, куда стоит заглянуть в настройках, это настройки для отправки почты.

Нажмем на Test Mail.

DashBoard.

Как говорилось в самом начале интересной фишкой является DashBoard, который существует в некотором начальном состоянии.

Но администратор может сделать панель с виджетами "под себя". На пример сделать что то вроде этого (не надо сильно вникать в смысл :-) я просто вытащил максимально возможные виджеты)

Туда - сюда или кто куда ходит и что качает.

Вернемся на вкладку интерфейсов и посмотрим статистику по одному конкретному.

Вкладка Application выводит информацию по типу трафика.

Клик по конкретной строчке и мы получаем детальную информацию. На пример информацию по http трафику.

Можно сократить результаты вывода до (на пример) 10 и сделать преобразование ip в имена (помогает очень не всегда).

Так же можно запросить детальный график каждого соединения.

Во вкладке Source получаем отчет по источникам трафика, и так же выбрав конкретный элемент получаем детализацию по нему.

Группы адресов.

Иногда интересно рассматривать трафик нескольких пользователей одновременно, на пример серверов, выполняющих одну и туже роль. В разделе Admin Operations есть подраздел IP Grouups, где можно объединить несколько адресов в группу, создать группу из целых подсетей и т.д.

Дальше уже можно получать все те же самые отчеты, но в разрезе адресов, объединенных в эту группу.

Для ленивых - отчеты по почте.

Наверное самая приятная вещь, которая мне понравилась, это возможность формировать отчеты и получать из по почте, не надо было каждое утро лезть в этот интерфейс и заказывать их, они просто приходили с утренней почтой. Заходим в раздел Admin Operations, в подраздел Schedule Reports.

В результате утром придет письмо, приблизительно такого содержания.

Где будет лежать по pdf-у на каждый интерфейс приблизительно такого содержания.

Заключение.

За сим буду прощаться, тот кто что то искал, тот, я думаю нашел, и если начнет копаться все глубже, то познает тайную магию Alert-ов, которые буду тебя извещать о проблемах в сети, а кому то пригодятся мелочи в раздели Billing. Напоследок скажу, что на сайте производителя Вы найдете бесплатную версию этого продукта, бесплатность там странная, 30 дней работает без ограничений, потом работает только с двумя интерфейсами, для простых конфигураций, где один локальный, а другой провайдер этого решения должно хватить.

Comments: 25

Ivan Tiukov
  
Крайне благодарю за данный пост. Давненько уже хотел подобрать что-нибудь для подсчета трафика в микротике, но все никак не мог найти подходящее ПО.
Анонимный
  
А какой NetFlow Collector может делать отчет по трафику по месяцам? Для тарифов с лимитом по трафику это актуально. (примерно так как это делает Tmeter)
Анонимный
  
Извините за вопрос, а если несколько сотен VPN соединений, как искать нужного мне юзера, если он все имена под IfIndex* зафигачит???
Sergey Lagovskiy
  
о да.... есть такое, этот момент не слишком удобно сделан, хотя работает правильно, ведь при подключении vpn-щика создается интерфейс. Если адрес подключившегося статический, то можно заказывать отчет на конкретный адрес.
Serge
  
IfIndex* можно поменять на IfDescr, IfName или IfAlias после настройки SNMP, причем уже доступен v3
Анонимный
  
Спасибо Сергей, это было мне нужно. Но мой мониторинг не работает как ваш. Входяшие траффики не ресует. И у меня много Ifindex интерфейсов (Около 3000 штуков), как мне знать какой интерфейс именно ether1. Остолные должны быть PPPoE sessions. Извините за мой плохой русский язык.
Анонимный
  
я только начинаю, так что извиняйте..

как собирать статистику по ip за период времени?
небольшая сетка с одним роутером и надо собирать статы кто сколько накачал.
Анонимный
  
Кто нибудь знает, как(где?) менять шаблоны писем для рассылки?
Анонимный
  
Сергей подскажите, а можно настроить NetFlow так чтоб он сам преобразовывал сам IP в имена DNS. (пробовал использовать Resolve DNS все равно отображаются IP и только вручную занесенные имена через панель управления отображаются....)
Sergey Lagovskiy
  
Думаю, такую проблему с этой стороны решить не получится.
На пример как определить домен, если на этом ip находится десяток-два виртуальных доменов и каждый со своим уникальным именем?
То, что можно однозначно определить, то NetFlow Analyzer определяет.
Игры с фиксированием имен сайтов, страничек и тому подобного это больше к Web-Proxy
Анонимный
  
Уважаемый Сергей или удачно использующие сию программу для сбора статистики подскажите, кто сталкивался с проблемой неправильного отображения времени. Дело в том, что пол года собирал статистику не мог нарадоваться и вдруг в нашем государстве решили не переходить на зимнее время. На следующий же день после перехода, график dashboards стал отставать не на 1час а на 6часов 0_o.
На mikrotik на винде (после мелкософтовского патча) время в норме а вот netflow в норму не пришел((. Чет нигде решения не нашел. Делал вот это http://forums.manageengine.com/forumHome.do?forumGroupId=49000000002007&forumTopicId=49000002656775
Тоже не помогло. На семерке воткнул для теста netflow даже не подключая к маршрутизатору он сразу врет. Причем уже на 10 часов. Куда хоть думать, может кто знает? Буду очень признателен за помощь.
lki
  
hi sergery
i am config mikrotik netflow but this error in
"total traffic value available upto the second and application data is loaded once in 3 minutes in the database. this different is listed as unaccounted. "
please help me?
thansk
Анонимный
  
Таже самая проблема.
Подскажите как решить.
GAMER
  
Возникла идентичная проблема при использовании новой версии апаратного МикроТика. Конфиги были перенесены со старого, на котором все работало.
Александр
  
Он может выводить отчет по SMTP трафику, а то поиск завирусованного спамера при использовании MikroTik не тривиальная задача?
Sergey Lagovskiy
  
Может, настраиваешь фильтр и получаешь что хочешь, плюс там уже сразу есть разделение трафика по типу.

А поиск спамера в микротике, активного спамера, легко фиксируется в фаерволе, в активных соединениях, если на один ip сотня соединений с внешним 25 портом, то что то тут не так.
Александр
  
дело в том что там крайне редко спам кто то шлет по 25 порту, обычно это если на 1 IP много разных нестандартных портов. Она может определять SMTP трафик по нестандартным портам?
Александр Петров
  
Здравствуйте, вы приветствуете индивидуальную помощь(не безвозмездно)разумеется.
Вопрос в настройке MikroTika
Sergey Lagovskiy
  
В принципе можно договориться, но все зависит от текущей загрузки, пишите в почту slagovskiy@gmail.com
Анонимный
  
Здравствуйте
не удается подключить микротик в настройках NetFlow Analyzer 9.8.5
можете описать как ето можно сделать правильно т.к. к сожалению в вашей статье етот момент упущен..
sharfurer
  
При установке на линуксе, он спрашивает кем его назначать (дословно не помню) но примерно что-то типа: сервер или коллектор, в данном случае, какой вариант надо выбирать.
sharfurer
  
Сорри, я похоже не ту версию поначалу выбрал, вместо (Professional & Professional Plus Editions) — (Distributed Edition)
Анонимный
  
Подскажите пожалуйста как расшифровать интерфейсы IfIndex** ?
У меня vpn нету, есть только ether и vlan, а все показываются как IfIndex**
Анонимный
  
Включил Traffic Flow на Mikrotik, в Targets указал ip-адрес компьютера в локальной сети на который установлен NetFlow Analyzer. При заходе в Dashboard только такая информация:

No device is currently exporting NetFlow / sFlow packets to NetFlow Analyzer.
Listening for NetFlow / sFlow Packets at Port 9996
Click here for instructions to enable NetFlow / sFlow Exports on the router / switch.

Чего еще не хватает, чтобы связка заработала?
Nikolay Rodionov
  
тоже самое
No device is currently exporting NetFlow / sFlow packets to NetFlow Analyzer.
что делать?