BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 09 май 2024, 11:06

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 13 ] 
Автор Сообщение
 Заголовок сообщения: IPN проблемки...
СообщениеДобавлено: 07 окт 2009, 16:23 
Не в сети
Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40
Просьба помочь кто чем может...

Исходные данные :
Работает тестовая версия BGB 4.6 на линуксовом компе c обновлениями по 6 октября
Окучивает только IPN-клиентов
Управляет двумя шлюзами:
-127.0.0.1 - манад ( на этом же компе )
-192.168.1.1 - mikrotik по телнету ( 23 порт)

до добавления mikritоk всё работало замечательно, но после того как добавили новый шлюз микротик и новый источник netflow с этого микротика
на почту стали приходить сообщения:
Код:
ID события: scheduler.periodic.task.run.skip
Время регистрации события: 07.10.2009 12:00:01

В рамках отведенного переменной scheduler.periodic.thread.count максимального числа одновременно запущенных потоков планировщик не смог
запустить периодическую задачу с кодом 5. ( или 2 )
Необходимо выяснить причину медленного завершения периодических задач, запущенных ранее.


scheduler.periodic.thread.count - стоит как в документации:
Код:
scheduler.periodic.thread.count=5
scheduler.nonperiodic.thread.count=5


задача 2 - проверка шлюзов IPN
задача 5 - обсчёт логов IPN

запускаются с интервалом 15 мин

конфигурация шлюза типа mikrotik - как в документации
10 клиентов ходят через manad, 9 - через mikrotik
Оба шлюза льют netflow на Netflow collector ( в автономном режиме )

cat netflow_ipn_properties:
Код:
port.admin=2003
collector.mid=1
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100
log.dir=/var/flow
load=1
process=1
process.sources=1,2
collector.capture.flow.port.1=2004
collector.capture.flow.port.1.type=netflow
collector.capture.flow.port.1.sources=1,2
collector.capture.flow.port.1.thread.count=10
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10
#collector.capture.snmp=1
#collector.capture.snmp.sources=1
#collector.capture.snmp.period=60
datalog.chunk.size=393216
#datalog.flow.compression.type=1
#process.thread.count=1
#process.datalog.thread.count=1
#generate.minutes=30
ipn.collector.detail.folder=/var/flow/detail
ipn.collector.detail.class=bitel.billing.server.netflow.ipn.detail.AnalyzedFlowDetailMaker


в папках .../source_1 ( локальный комп)и .../source_2 ( микротик ) появлятся логи, но они больше и не обрабатываются и в отчетах всех клиентов наработка стала по нулям
Куда можно покапать в данном случае ?

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 07 окт 2009, 16:37 
Не в сети
Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40
Вообще такое чувство, что задача проверки шлюзов IPN зависает на проверке микротика, смотрел etherealom дамп обмена, там проскальзывали неправильные пакеты. Но при этом разрешающие правила добавлялись в микротик при открытия шлюзов,
А вот что случилось с задачей обработки логов понять не могу.. :(

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 08 окт 2009, 11:32 
Не в сети
Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40
Короче, не найдя нигде как тюнить кол-во тредов для шедуллера scheduler.periodic.thread.count
поставил задачи обработки логов IPN и проверки шлюзов IPN раз в час, с разносом 30 мин, Вродь ошибка убралась.

Теперь два вопроса уважаемым форумчанам и разработчикам:

1. Я знаю что проверка шлюза типа manad получает от шлюза id открытых договоров,а что делает это задача с шлюзом типа mikrotik ? По дампу пакетов разобраться не получилось , ( стандартный tcp-handshaking и не более )

2.Так как версия bgbillinga тестовая, приходиться мириться с ограничением в 20 договоров , постоянно удаляя старые и вводя новые договора для разных шлюзов , сетей и vlanов. Правильно ли я понимаю что при удалении договора, закреплённого за шлюзом manad надо сначала закрыть для договора шлюз а потом удалить договор, чтоб он удалился из хеша manada, а то при проверке этого шлюза он выпуливает обратно id удалённых договоровкоторые считает открытыми. Приходиться его перезапускать потом.

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 08 окт 2009, 12:50 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
ok-2004 писал(а):
Короче, не найдя нигде как тюнить кол-во тредов для шедуллера scheduler.periodic.thread.count
поставил задачи обработки логов IPN и проверки шлюзов IPN раз в час, с разносом 30 мин, Вродь ошибка убралась.

Теперь два вопроса уважаемым форумчанам и разработчикам:

1. Я знаю что проверка шлюза типа manad получает от шлюза id открытых договоров,а что делает это задача с шлюзом типа mikrotik ? По дампу пакетов разобраться не получилось , ( стандартный tcp-handshaking и не более )

он вызывает команду - ip firewall address-list print. И ищет там
"!!" + cid + "!!"
где cid - это год договора..

ok-2004 писал(а):
2.Так как версия bgbillinga тестовая, приходиться мириться с ограничением в 20 договоров , постоянно удаляя старые и вводя новые договора для разных шлюзов , сетей и vlanов. Правильно ли я понимаю что при удалении договора, закреплённого за шлюзом manad надо сначала закрыть для договора шлюз а потом удалить договор, чтоб он удалился из хеша manada, а то при проверке этого шлюза он выпуливает обратно id удалённых договоровкоторые считает открытыми. Приходиться его перезапускать потом.


да правильно , надо закрыть шлюз .


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 08 окт 2009, 16:27 
Не в сети
Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40
Да всё правильно, я потом уже с дампом разобрался, вот кусок:
Код:
[admin@MikroTik] >                                                             
.[admin@MikroTik] > ip firewall address-list print without-paging
ip firewall address-list print without-paging
.[admin@MikroTik] > ip firewall address-list print without-paging

ip firewall address-list add address=10.0.24.11 list=ACCESS_LIST comment=!!30!!

.Flags: .[m.[1mX.[m - disabled, .[m.[1mD.[m - dynamic

.[m.[1m #   LIST                                       ADDRESS                       

.[m 0   ACCESS_LIST                                10.0.24.232                   

[code][code][/code][/code] 1   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

 2   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

 3   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

 4   ;;; !!33!!

     ACCESS_LIST                                10.0.24.14                     

 5   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

 6   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

 7   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

 8   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

 9   ;;; !!
1!!

     ACCESS_LIST                                10.0.24.12                     

10   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

11   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

12   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

13   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

14   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

15   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

16   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

17   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

18   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

19   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

20   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

21   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

22   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

23   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

24   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

25   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

26   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

27   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

28   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

29   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

30   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

31   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

32   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

33   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

34   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

35   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

36   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

37   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13         ip firewall address-list add address=10.0.24.12 list=ACCESS_LIST comment=!!31!!
           

38   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

39   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

40   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

41   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

42   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

43   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

44   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

45   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

46   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

47   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

48   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

49   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

50   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

51   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

52   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

.[admin@MikroTik] >                                                             
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.11 list=ACCESS_
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.11 list=ACCESS>
.<ist add addip firewall address-list add address=10.0.24.13 list=ACCESS_LIST comment=!!32!!
ress=10.0.24.11 list=ACCESS_L                                     
.<ist add address=10.0.24.11 list=ACCESS_LIST comment=!!30!!
.<ist add address=10.0.24.11 list=ACCESS_LIST comment=!!30!!

.[admin@MikroTik] >                                                             
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.12 list=ACCESS_
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.12 list=ACCESS>
.<ist add address=10.0.24.12 list=ACCESS_L                                     
.<ist add address=10.0.24.12 list=ACCESS_LIST comment=!!31!!
.<ist add address=10.0.24.12 list=ACCESS_LIST comment=!!31!!


.[admin@MikroTik] >                                                             
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.13 list=ACCESS_
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.13 list=ACCESS>
.<ist add address=10.0.24.13 list=ACCESS_L                                     
.<ist add address=10.0.24.13 list=ACCESS_LIST comment=!!32!!
.<ist add address=10.0.24.13 list=ACCESS_LIST comment=!!32!!


Выглядет немного коряво, но уж извините, так езереал сгенерил..? Не в даваясь в подробности: это диалог теста шлюза микротик, вначале BGB даёт команду :
Код:
ip firewall address-list print without-paging

а потом не дожидаясь почемуто вывода микротика начинает добавлять ему в акцесс-лист теже самые открытые договора,справедливо думая что открытых договоров нет. Короче после каждого теста в акцесс -листе появляются теже договора .
И ещё одна деталь:
В предыдущем посте Вы заметили что он ищет строку !!+xx+!! . но mikrotik выдаёт ему в виде : !!31!! Мож это одна из проблем. Я в полном тупике.Может сменить telnet на ssh ?

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 09 окт 2009, 16:06 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
ok-2004 писал(а):
В предыдущем посте Вы заметили что он ищет строку !!+xx+!! . но mikrotik выдаёт ему в виде : rionet-forum-mikrotik Мож это одна из проблем. Я в полном тупике.Может сменить telnet на ssh ?

про строку вы меня нпрпавильно поняли "+" не являетс часть строки .. Шлюз ищет !!+xx+!!.

давайте разберемся ,тут была ошибка с телнетом - он перодически подвисал . Ей я решил вначале отдленым класом , потом после некторого периода тестирования заменил основной класс этим классом, т.е перевел все шлюзы на него. А у mikrotik отдельная проблема (причем она не зависит от протокола - telnet/ssh ), она на уровне терминала . Ее исправил, но сейчас вижу что не совсем правильно. Я подправлю и выложу обновление . Вы можете дать доступ к микротик чтобы отладить ?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 09 окт 2009, 17:25 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
дотсуп к микротиик уже не нужен ..нашел у них публичный сервер


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 09 окт 2009, 17:29 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
stark писал(а):
дотсуп к микротиик уже не нужен ..нашел у них публичный сервер

хотя не получится все на публичном - там прав не хватает


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 09 окт 2009, 17:32 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
ктстаит у вас случайно timeout не стоит отличнй от нуля ? это может быит причиной того, что команды не дорабатывают до конца


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 09 окт 2009, 18:30 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
да была ошибка, исправлено . обновление выложено


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 09 окт 2009, 20:33 
Не в сети
Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40
не дождавшись обновления. вчера перешёл на ssh, проблеммы исчезли, сегодня смотрел целый день.

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 09 окт 2009, 20:35 
Не в сети
Клиент

Зарегистрирован: 21 май 2008, 10:54
Сообщения: 599
Откуда: 50-й рег.
Карма: 40
c timeout игрался, делал и 0 , и как в учебнике, и призвольное число....

_________________
"Все правые - в резерве!" (c) (translate.google.ru/#en/ru/all%20rigths%20reserved)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: IPN проблемки...
СообщениеДобавлено: 13 окт 2009, 15:41 
Не в сети
Разработчик

Зарегистрирован: 08 ноя 2007, 01:05
Сообщения: 8343
Откуда: Уфа
Карма: 238
ok-2004 писал(а):
не дождавшись обновления. вчера перешёл на ssh, проблеммы исчезли, сегодня смотрел целый день.


Ssh доделаем чуть позже - там тоже нужно сделать поддержку ansi терминала. Просто в ssh она решена с самого начала по другому(нужно было быстро сделать, а потом так и неразобрались) - там каждая команда посылается в отдельной сессии (т.е авторизация на каждой команде и выход ) - это работает медленее. Но telnet сейчас должен работать нормально для mikrotik.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 13 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
POWERED_BY
Русская поддержка phpBB
[ Time : 0.058s | 46 Queries | GZIP : On ]