FreeBSD и гигабит

[Артем]

Шлюз на FreeBSD. Через гигабитную сетевую карточку шлюз подключен и в сеть и в интернет. Интернет/сеть в разных вланах. Есть проблема следующего характера: когда загрузка на интерфейсе близится к 100Мбит/с, до шлюза начинаются терять пинги, а некоторые вместо положенных 1-2мс скачут в пределах 17-54мс. Такое ощущение, что скорость не 1000, а 100Мбит/с. Карточка TP-link гигабитная

ifconfig re0
re0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM>
ether 00:21:27:c9:0d:56
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active

Коннекторы на концах пережимали, даже переключали на другой кабель - результат тот-же.
На всякий случай приведу /etc/sysctl.conf

net.inet.ip.fw.autoinc_step=10
net.inet.ip.forwarding=1
net.inet.ip.fw.dyn_buckets=32768
net.inet.ip.fw.one_pass=1

kern.polling.enable=1
net.inet.tcp.sendspace=1048576
net.inet.tcp.recvspace=1048576
net.inet.icmp.icmplim=100
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.tcp.msl=15000
net.inet.ip.fastforwarding=1
kern.ipc.maxsockets=204800
kern.ipc.maxsockbuf=16777216
kern.polling.each_burst=150
kern.polling.burst_max=1000
net.inet.ip.intr_queue_maxlen=1100
kern.ipc.somaxconn=4096
net.inet.tcp.syncookies=1
kern.ipc.nmbclusters=262144

Буду признателен за любые дельные идеи по-этому поводу

[Oleg]

Поменяй карточку

[Igoras]

Когда ставил в файловый сервак объемные винты и переводил на гигабит, тоже задался вопросом, порылся в инете... оказалось что фрибсд можно настроить под гигабит, но файловая система у него тормознутая... в итоге перешел на линукс.
Насчет сетевухи - она встроенная в материнку или внешняя, еще и ПЦИ? Во втором случае больше 500 мбит вход+выход суммарно на интерфейсе не получишь. Не пробовал проверять скорость всякими синтетическими тестами типа iperf?

Еще не мешало бы проверить настройки ядра и загрузку проца. как много жрется на систему (прерывания) во время интенсивного кача? Насколько помню, DEVICE_POLLING спасал ситуацию. и HZ надо было ставить побольше. Хотя первое у тебя по ходу есть. Кстати поллинг должен еще поддерживаться карточкой вернее ее драйвером

На почитать....
http://markmail.org/message/fkfha3ofjog2uuqd
http://www.opennet.ru/docs/RUS/GigabitEthernet/
http://kerneltrap.org/index.php?q=maila ... 8/9/223257

[Шинкевич Владимир]

Бредово - Пинг до шлюза откуда, может в том месте затык? *топология

Бредово - что показывет свич со своей стороны в мегабитах?

Может в фаере общий поток зарезан? Загрузка сервака?

[Артем]

Карточка pci. Ну про 400-500мбит - это пол-беды, сейчас у меня никак не получается выжать больше 100 хотя не думаю, что проблема в карточке... Гигабитная как-никак, правда за неимением других вариантов, думаю, придется поменять.

Пинг до шлюза - откуда угодно. Потери именно от свича до сервера. До свича пинг нормальный. Свич показывает все нормально 1000Мбит/с. Поток в фаере... ну вроде лимитов на 100мбит/с не нашел, да и не помню что бы ставил. Загрузка сервака 25-30%.

[Igoras]

Артем,
сколько ядер у проца? конкретная модель чипа на сетевухе? материнка какая? что показывает iperf?

блин....

[Шинкевич Владимир]

Артем, "до свича пинг нормальный" - от шлюза до свича? от свича до шлюза?

P.s. И заблаговременный ответ Олега - поменяй карточку (-:

[Артем]

У проца 4 ядра, чип на сетевухе походу realtek

Далее отвечаем про iperf
Значит структура такая:

GwServer(FreeBSD) ---1Gb---- Switch-----100Mbit---- MyComp (Windows)
...................................... |
Comp(Linux)---------100Mbit------|

В общем как видно все компы находятся на разных линиях. У свича с GW гигабитная связь.

На GW был запущен iperf.

Показания загрузки проца сразу улыбнули
PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
13145 root 3 104 0 6596K 1476K CPU2 3 0:05 253.69% iperf
13144 cacti 1 96 0 21448K 12160K select 1 0:00 5.13% php
1303 root 1 96 0 16660K 15092K select 1 33.9H 4.39% natd
13135 cacti 1 8 0 22472K 12580K nanslp 2 0:00 3.50% php
1305 root 1 96 0 10516K 9016K select 1 399:00 0.00% natd
1307 root 1 96 0 6420K 4140K select 1 165:49 0.00% natd

Загрузка интерфейса на GW:
gw1# ifstat -i re0
re0
KB/s in KB/s out
92.63 10667.88
92.78 10877.57
146.07 10769.23
64.44 10768.94
119.72 10740.53
96.36 10747.09
64.07 10577.18
72.29 10712.04
44.47 10603.95
68.66 10467.43
96.97 10738.65
112.10 10641.38
55.16 10520.98
89.57 10558.87
108.17 10834.49
76.28 10689.79
108.31 10668.67
93.19 10674.56
119.35 10858.96
Ну и далее в таком же духе

Показания самого iperf на GW:
gw1# /usr/local/bin/iperf -u -c 192.168.192.1 -l100 -b100M -t40 -p 65005
------------------------------------------------------------
Client connecting to 192.168.192.1, UDP port 65005
Sending 100 byte datagrams
UDP buffer size: 9.00 KByte (default)
------------------------------------------------------------
[ 3] local 192.168.192.250 port 54254 connected with 192.168.192.1 port 65005
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-40.0 sec 476 MBytes 99.8 Mbits/sec
[ 3] Sent 4988770 datagrams
[ 3] Server Report:
[ ID] Interval Transfer Bandwidth Jitter Lost/Total Datagrams
[ 3] 0.0-40.2 sec 80.6 MBytes 16.8 Mbits/sec 14.869 ms 4143816/4988770 (83%)


Ну и наконец мой пинг до GW из дому с MyComp:
Ответ от 192.168.192.250: число байт=32 время<1мс TTL=64
Ответ от 192.168.192.250: число байт=32 время=11мс TTL=64
Превышен интервал ожидания для запроса.
Ответ от 192.168.192.250: число байт=32 время=9мс TTL=64
Превышен интервал ожидания для запроса.
Ответ от 192.168.192.250: число байт=32 время=7мс TTL=64
Ответ от 192.168.192.250: число байт=32 время=7мс TTL=64
Ответ от 192.168.192.250: число байт=32 время=7мс TTL=64
Превышен интервал ожидания для запроса.
Ответ от 192.168.192.250: число байт=32 время=11мс TTL=64
Ответ от 192.168.192.250: число байт=32 время=10мс TTL=64
Ответ от 192.168.192.250: число байт=32 время=11мс TTL=64
Ответ от 192.168.192.250: число байт=32 время=8мс TTL=64
Ответ от 192.168.192.250: число байт=32 время=11мс TTL=64
Превышен интервал ожидания для запроса.
Ответ от 192.168.192.250: число байт=32 время=9мс TTL=64
Ответ от 192.168.192.250: число байт=32 время=6мс TTL=64
Ответ от 192.168.192.250: число байт=32 время=8мс TTL=64
Превышен интервал ожидания для запроса.
Ответ от 192.168.192.250: число байт=32 время<1мс TTL=64

[Артем]

Даже трудно что-то сказать. Здесь могли пойти потери из-за дурной загрузки проца - хотя она и не является для него критичной (проц 4х ядерный все же). А из-за сети как-то слабо верится. Сервер входит в гигабитный порт Planet FGSW-2620CS, через другой гигабитный порт уходит на TL-SL3428. А дальше на интернет идет гигабитный оптический miniGBIC и в другую сторону идет оптические линки через медиаконвертеры (100Мбит).
В момент реальной лажи ( не сфабрикованной iperf) до Planet FGSW-2620CS пинги идут чистенькие, более того даже на комп, который воткнут в тот же planet через другой 100мбит-ный порт, потерь так же нету (ну или они незначительны). А вот GW чего-то задыхается. По всей видимости прийдется смотреть в сторону замены карты, но честно говоря не думал, что тп-линковская гигабитная карта на столько паршивая, что не выжимает даже больше 100мбит.

[Igoras]

Проц может быть хоть 128-ядерным, если процесс не умеет юзать более 1 проца, тебя это не спасет....

Ты ведь загрузку системы через top смотришь? так вот он в некоторых ОС сверху показывает по дефолту суммарную загрузку, то есть 25% это 1 ядро загруженное на 100% + еще процессы на 2 ядре на 5%... В списке процессов топ показывает каждый проц как 100%, то есть в твоем случае иперф раскидал себя сразу на 3 ядра....

Нажми в топе на цифру 1 или на С большую (хотя хз если это работает в БСД) и увидишь статистику по каждому ядру, и в нем смотри сколько ресурсов отдано по каждому процу... че-то мне кажется что систем на одном из них будет близок к 99%, и это будут прерывания от сетевушки...

Судя по тегу ПОЛЛИНГ у карточки все же включен... а как насчет HZ и kern.polling.reg_frac?

Насчет иперфа - я понял что шлюз был клиентом, а кто был сервером? линуксовый комп?

[Igoras]

Еще непонятно, что за мать такая, с 4-ядерным процом и без нормальной сетевухи... то есть мать явно из новых, неужели было сложно найти со встроенной? они обычно идут или напрямую в чипсет или через пци-е и дают честный гигабит и без извратов в виде пци-сетевух... Если достаточно 1 карточки - советую найти другую мать, потому что докупить карточку выйдет в районе 50 баксов (см. соседнюю тему, я как раз Ника спрашивал), если не достаточно - то все равно сменить мать и докупить карточку...

[Артем]

Igoras,
Сервером был линуксовый комп.
мать с сетевухой, возможно даже с гигабитной, только фрибсд эти встроенные сетевухи либо вообще не видит, либо видит, но не работает с ними (прописывается ип, но пинги никуда не ходят). В моем случае бсд ее вообще не видит. Мать - Гигабайт.

kern.polling.reg_frac: 20
HZ=1000

[Igoras]

А поконкретнее модель матери? может дрова можно доставить? или надо было сразу брать мать с каким-то более-менее известным чипом на сетку
Фрибсд кстати какая версия?

[Артем]

мать - посмотрел точнее: MSI P45 NEO
LAN - конкретно не помню, но помню, что смотрел на сайте производителя - дров под *nix системы вообще небыло. Кажись даже под XP небыло, было только под Vista
FreeBSD v7.0

[Артем]

Момент проблемы:

last pid: 32497; load averages: 1.62, 1.66, 1.66 up 9+03:45:05 22:39:03
139 processes: 5 running, 114 sleeping, 20 waiting
CPU states: 7.1% user, 0.0% nice, 5.9% system, 9.2% interrupt, 77.7% idle
Mem: 288M Active, 486M Inact, 155M Wired, 21M Cache, 111M Buf, 42M Free
Swap: 2014M Total, 2014M Free

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
13 root 1 171 ki31 0K 8K CPU1 1 195.2H 88.18% idle: cpu1
11 root 1 171 ki31 0K 8K RUN 3 203.0H 87.50% idle: cpu3
14 root 1 171 ki31 0K 8K CPU0 0 152.5H 75.78% idle: cpu0
12 root 1 171 ki31 0K 8K CPU2 2 191.9H 73.78% idle: cpu2
1303 root 1 101 0 19732K 17384K select 2 36.5H 31.15% natd
17 root 1 -44 - 0K 8K WAIT 0 67.8H 26.95% swi1: net
1305 root 1 96 0 11540K 9672K select 1 430:01 5.47% natd
47 root 1 -68 - 0K 8K - 1 978:47 3.22% dummynet



re0 in 9.300 MB/s 10.289 MB/s 106.565 MB
out 9.390 MB/s 10.319 MB/s 3.391 GB

Ответ от 192.168.192.250: число байт=1024 время=3мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=17мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=38мс TTL=64
Превышен интервал ожидания для запроса.
Ответ от 192.168.192.250: число байт=1024 время=4мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=22мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=22мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=21мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=21мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Превышен интервал ожидания для запроса.
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=19мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=18мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=19мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=21мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=2мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=4мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=20мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=21мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=21мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=22мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Превышен интервал ожидания для запроса.
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=21мс TTL=64
Ответ от 192.168.192.250: число байт=1024 время=1мс TTL=64

причем в этот момент пинги до свича в который входит сервер - без единой потери.

[Артем]

Вроде пока проблема решилась установкой флага:
kern.polling.idle_poll=1 (определяет, использовать ли опрос устройств в свободное время. Нет причин отключать его, разве что для проведения тестов или при возникновении ошибок. По умолчанию включено.)

Незнаю почему у меня было выключено и почему это так повлияло на результаты, но вроде стало неплохо. Прокачка сразу вырасла в пике до 18МБайт/с

Всем огромное спасибо за помощь

[Igoras]

Артем,
судя по http://www.vbcportal.eu/mkportal/module ... a_4560.jpg это какой-то чип физ. уровня реалтек подключенный по MII в чипсет.

У меня кстати в компе стоит такая мать - http://www.msi.com/index.php?func=prodd ... d_no=1557# попробую на ней сегодня поставить фрибсд 7 чисто ради интереса... и еще валяется без дела асус тоже под 775 сокет M2N-1394

Не люблю за это очень новые мамки ) дров фиг найдешь

Щас посмотрел - на моей мамке - Realtek 8111c, на асусе attansic L1, и то и то гигабит попробую потестить вечерком