forum.bitel.ru
http://forum.bitel.ru/

IPN проблемки...
http://forum.bitel.ru/viewtopic.php?f=7&t=2991
Страница 1 из 1

Автор:  ok-2004 [ 07 окт 2009, 16:23 ]
Заголовок сообщения:  IPN проблемки...

Просьба помочь кто чем может...

Исходные данные :
Работает тестовая версия BGB 4.6 на линуксовом компе c обновлениями по 6 октября
Окучивает только IPN-клиентов
Управляет двумя шлюзами:
-127.0.0.1 - манад ( на этом же компе )
-192.168.1.1 - mikrotik по телнету ( 23 порт)

до добавления mikritоk всё работало замечательно, но после того как добавили новый шлюз микротик и новый источник netflow с этого микротика
на почту стали приходить сообщения:
Код:
ID события: scheduler.periodic.task.run.skip
Время регистрации события: 07.10.2009 12:00:01

В рамках отведенного переменной scheduler.periodic.thread.count максимального числа одновременно запущенных потоков планировщик не смог
запустить периодическую задачу с кодом 5. ( или 2 )
Необходимо выяснить причину медленного завершения периодических задач, запущенных ранее.


scheduler.periodic.thread.count - стоит как в документации:
Код:
scheduler.periodic.thread.count=5
scheduler.nonperiodic.thread.count=5


задача 2 - проверка шлюзов IPN
задача 5 - обсчёт логов IPN

запускаются с интервалом 15 мин

конфигурация шлюза типа mikrotik - как в документации
10 клиентов ходят через manad, 9 - через mikrotik
Оба шлюза льют netflow на Netflow collector ( в автономном режиме )

cat netflow_ipn_properties:
Код:
port.admin=2003
collector.mid=1
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100
log.dir=/var/flow
load=1
process=1
process.sources=1,2
collector.capture.flow.port.1=2004
collector.capture.flow.port.1.type=netflow
collector.capture.flow.port.1.sources=1,2
collector.capture.flow.port.1.thread.count=10
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10
#collector.capture.snmp=1
#collector.capture.snmp.sources=1
#collector.capture.snmp.period=60
datalog.chunk.size=393216
#datalog.flow.compression.type=1
#process.thread.count=1
#process.datalog.thread.count=1
#generate.minutes=30
ipn.collector.detail.folder=/var/flow/detail
ipn.collector.detail.class=bitel.billing.server.netflow.ipn.detail.AnalyzedFlowDetailMaker


в папках .../source_1 ( локальный комп)и .../source_2 ( микротик ) появлятся логи, но они больше и не обрабатываются и в отчетах всех клиентов наработка стала по нулям
Куда можно покапать в данном случае ?

Автор:  ok-2004 [ 07 окт 2009, 16:37 ]
Заголовок сообщения:  Re: IPN проблемки...

Вообще такое чувство, что задача проверки шлюзов IPN зависает на проверке микротика, смотрел etherealom дамп обмена, там проскальзывали неправильные пакеты. Но при этом разрешающие правила добавлялись в микротик при открытия шлюзов,
А вот что случилось с задачей обработки логов понять не могу.. :(

Автор:  ok-2004 [ 08 окт 2009, 11:32 ]
Заголовок сообщения:  Re: IPN проблемки...

Короче, не найдя нигде как тюнить кол-во тредов для шедуллера scheduler.periodic.thread.count
поставил задачи обработки логов IPN и проверки шлюзов IPN раз в час, с разносом 30 мин, Вродь ошибка убралась.

Теперь два вопроса уважаемым форумчанам и разработчикам:

1. Я знаю что проверка шлюза типа manad получает от шлюза id открытых договоров,а что делает это задача с шлюзом типа mikrotik ? По дампу пакетов разобраться не получилось , ( стандартный tcp-handshaking и не более )

2.Так как версия bgbillinga тестовая, приходиться мириться с ограничением в 20 договоров , постоянно удаляя старые и вводя новые договора для разных шлюзов , сетей и vlanов. Правильно ли я понимаю что при удалении договора, закреплённого за шлюзом manad надо сначала закрыть для договора шлюз а потом удалить договор, чтоб он удалился из хеша manada, а то при проверке этого шлюза он выпуливает обратно id удалённых договоровкоторые считает открытыми. Приходиться его перезапускать потом.

Автор:  stark [ 08 окт 2009, 12:50 ]
Заголовок сообщения:  Re: IPN проблемки...

ok-2004 писал(а):
Короче, не найдя нигде как тюнить кол-во тредов для шедуллера scheduler.periodic.thread.count
поставил задачи обработки логов IPN и проверки шлюзов IPN раз в час, с разносом 30 мин, Вродь ошибка убралась.

Теперь два вопроса уважаемым форумчанам и разработчикам:

1. Я знаю что проверка шлюза типа manad получает от шлюза id открытых договоров,а что делает это задача с шлюзом типа mikrotik ? По дампу пакетов разобраться не получилось , ( стандартный tcp-handshaking и не более )

он вызывает команду - ip firewall address-list print. И ищет там
"!!" + cid + "!!"
где cid - это год договора..

ok-2004 писал(а):
2.Так как версия bgbillinga тестовая, приходиться мириться с ограничением в 20 договоров , постоянно удаляя старые и вводя новые договора для разных шлюзов , сетей и vlanов. Правильно ли я понимаю что при удалении договора, закреплённого за шлюзом manad надо сначала закрыть для договора шлюз а потом удалить договор, чтоб он удалился из хеша manada, а то при проверке этого шлюза он выпуливает обратно id удалённых договоровкоторые считает открытыми. Приходиться его перезапускать потом.


да правильно , надо закрыть шлюз .

Автор:  ok-2004 [ 08 окт 2009, 16:27 ]
Заголовок сообщения:  Re: IPN проблемки...

Да всё правильно, я потом уже с дампом разобрался, вот кусок:
Код:
[admin@MikroTik] >                                                             
.[admin@MikroTik] > ip firewall address-list print without-paging
ip firewall address-list print without-paging
.[admin@MikroTik] > ip firewall address-list print without-paging

ip firewall address-list add address=10.0.24.11 list=ACCESS_LIST comment=!!30!!

.Flags: .[m.[1mX.[m - disabled, .[m.[1mD.[m - dynamic

.[m.[1m #   LIST                                       ADDRESS                       

.[m 0   ACCESS_LIST                                10.0.24.232                   

[code][code][/code][/code] 1   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

 2   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

 3   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

 4   ;;; !!33!!

     ACCESS_LIST                                10.0.24.14                     

 5   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

 6   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

 7   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

 8   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

 9   ;;; !!
1!!

     ACCESS_LIST                                10.0.24.12                     

10   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

11   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

12   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

13   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

14   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

15   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

16   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

17   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

18   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

19   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

20   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

21   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

22   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

23   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

24   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

25   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

26   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

27   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

28   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

29   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

30   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

31   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

32   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

33   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

34   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

35   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

36   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

37   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13         ip firewall address-list add address=10.0.24.12 list=ACCESS_LIST comment=!!31!!
           

38   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

39   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

40   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

41   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

42   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

43   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

44   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

45   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

46   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

47   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

48   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

49   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

50   ;;; !!30!!

     ACCESS_LIST                                10.0.24.11                     

51   ;;; !!31!!

     ACCESS_LIST                                10.0.24.12                     

52   ;;; !!32!!

     ACCESS_LIST                                10.0.24.13                     

.[admin@MikroTik] >                                                             
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.11 list=ACCESS_
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.11 list=ACCESS>
.<ist add addip firewall address-list add address=10.0.24.13 list=ACCESS_LIST comment=!!32!!
ress=10.0.24.11 list=ACCESS_L                                     
.<ist add address=10.0.24.11 list=ACCESS_LIST comment=!!30!!
.<ist add address=10.0.24.11 list=ACCESS_LIST comment=!!30!!

.[admin@MikroTik] >                                                             
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.12 list=ACCESS_
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.12 list=ACCESS>
.<ist add address=10.0.24.12 list=ACCESS_L                                     
.<ist add address=10.0.24.12 list=ACCESS_LIST comment=!!31!!
.<ist add address=10.0.24.12 list=ACCESS_LIST comment=!!31!!


.[admin@MikroTik] >                                                             
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.13 list=ACCESS_
.[admin@MikroTik] > ip firewall address-list add address=10.0.24.13 list=ACCESS>
.<ist add address=10.0.24.13 list=ACCESS_L                                     
.<ist add address=10.0.24.13 list=ACCESS_LIST comment=!!32!!
.<ist add address=10.0.24.13 list=ACCESS_LIST comment=!!32!!


Выглядет немного коряво, но уж извините, так езереал сгенерил..? Не в даваясь в подробности: это диалог теста шлюза микротик, вначале BGB даёт команду :
Код:
ip firewall address-list print without-paging

а потом не дожидаясь почемуто вывода микротика начинает добавлять ему в акцесс-лист теже самые открытые договора,справедливо думая что открытых договоров нет. Короче после каждого теста в акцесс -листе появляются теже договора .
И ещё одна деталь:
В предыдущем посте Вы заметили что он ищет строку !!+xx+!! . но mikrotik выдаёт ему в виде : !!31!! Мож это одна из проблем. Я в полном тупике.Может сменить telnet на ssh ?

Автор:  stark [ 09 окт 2009, 16:06 ]
Заголовок сообщения:  Re: IPN проблемки...

ok-2004 писал(а):
В предыдущем посте Вы заметили что он ищет строку !!+xx+!! . но mikrotik выдаёт ему в виде : rionet-forum-mikrotik Мож это одна из проблем. Я в полном тупике.Может сменить telnet на ssh ?

про строку вы меня нпрпавильно поняли "+" не являетс часть строки .. Шлюз ищет !!+xx+!!.

давайте разберемся ,тут была ошибка с телнетом - он перодически подвисал . Ей я решил вначале отдленым класом , потом после некторого периода тестирования заменил основной класс этим классом, т.е перевел все шлюзы на него. А у mikrotik отдельная проблема (причем она не зависит от протокола - telnet/ssh ), она на уровне терминала . Ее исправил, но сейчас вижу что не совсем правильно. Я подправлю и выложу обновление . Вы можете дать доступ к микротик чтобы отладить ?

Автор:  stark [ 09 окт 2009, 17:25 ]
Заголовок сообщения:  Re: IPN проблемки...

дотсуп к микротиик уже не нужен ..нашел у них публичный сервер

Автор:  stark [ 09 окт 2009, 17:29 ]
Заголовок сообщения:  Re: IPN проблемки...

stark писал(а):
дотсуп к микротиик уже не нужен ..нашел у них публичный сервер

хотя не получится все на публичном - там прав не хватает

Автор:  stark [ 09 окт 2009, 17:32 ]
Заголовок сообщения:  Re: IPN проблемки...

ктстаит у вас случайно timeout не стоит отличнй от нуля ? это может быит причиной того, что команды не дорабатывают до конца

Автор:  stark [ 09 окт 2009, 18:30 ]
Заголовок сообщения:  Re: IPN проблемки...

да была ошибка, исправлено . обновление выложено

Автор:  ok-2004 [ 09 окт 2009, 20:33 ]
Заголовок сообщения:  Re: IPN проблемки...

не дождавшись обновления. вчера перешёл на ssh, проблеммы исчезли, сегодня смотрел целый день.

Автор:  ok-2004 [ 09 окт 2009, 20:35 ]
Заголовок сообщения:  Re: IPN проблемки...

c timeout игрался, делал и 0 , и как в учебнике, и призвольное число....

Автор:  stark [ 13 окт 2009, 15:41 ]
Заголовок сообщения:  Re: IPN проблемки...

ok-2004 писал(а):
не дождавшись обновления. вчера перешёл на ssh, проблеммы исчезли, сегодня смотрел целый день.


Ssh доделаем чуть позже - там тоже нужно сделать поддержку ansi терминала. Просто в ssh она решена с самого начала по другому(нужно было быстро сделать, а потом так и неразобрались) - там каждая команда посылается в отдельной сессии (т.е авторизация на каждой команде и выход ) - это работает медленее. Но telnet сейчас должен работать нормально для mikrotik.

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/