PCとpktgenとpgrxで行く遅延測定の旅

パケット数や遅延の統計が取得できるようになるpgrxというpktgenの追加モジュールの動作確認した時の話

はじめに

前回 PCとpktgenで行くショートパケットワイヤレートの旅 でpktgenのパケット構造は基本的に以下の構造になることが分かった。

ここに入っている tv_sec および tv_nsec を、受信側で比較して遅延測定ができたらいいよね？
というのが、この Open Source Traffic Analyzer: http://people.kth.se/~danieltt/pktgen/

Open Source Traffic Analyzerは、pktgenと同様にカーネルモジュールを読み込むことで /proc に生えてきて、pktgen形式のパケットに対する統計情報を取得することができる。
現在サポートされているのは、ipv4/ipv6のパケットカウンタ、遅延、ジッタ、パケット間隔。
パッチ形式で配布されているので、必要な機能に対するパッチを当てて利用することになるだろう。

生えてくるのは /proc/net/pktgen/pgrx となり、pktgenモジュールの一機能として提供される。（従って、今後「Open Source Traffic Analyzer」についてはpgrxとして記載する）
ただ、メインラインに取り込まれているわけではないので、pgrx対応のpktgenモジュールを作り直すか、既にpgrxパッチが取り込まれているディストリビューションBifrostを使用する必要がある。
Bifrostは、7系以降に pktgen/pgrx が標準搭載されているようなので、そちらが良い人は http://bifrost.slu.se/ からどうぞ。

今回は、前回の環境を継続して使用したいので、Ubuntu 13.04上でコンパイルする方式を採用する。

導入

前回は、Ubuntu 13.04に最初から入っているpktgenモジュールを使用したので特に準備は必要なかったのだが、今回はpktgenモジュールを作り直して使用する。
ダウンロードは http://people.kth.se/~danieltt/pktgen/ から、

net-next v3.6-rc2 (26/09/2012) (include all patches except configuration packet.) をDLすればいい。
とはいえ、面倒なので以下コマンドライン。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# cd ~
# mkdir pktgen_rx
# cd pktgen_rx
# wget http://people.kth.se/~danieltt/pktgen/patches/net-next-v3.6-rc2/pktgen_rx.tar
# tar xf pktgen_rx.tar
# vi Makefile
<snip>
        #KERNELDIR ?= /lib/modules/3.6.0-rc2+/build
        KERNELDIR ?= /lib/modules/$(shell uname -r)/build
<snip>
# apt-get install build-essential ncurses-dev git-core kernel-package
# make

コンパイル通した環境はこれ。

1
2

# uname -a
Linux misaka 3.8.0-25-generic #37-Ubuntu SMP Thu Jun 6 20:47:07 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

と、ここまでで新しいpktgenモジュールが出来上がったので、これを読み込ませる。
すでにpktgenモジュールを読み込ませている場合は、いったん外そう。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# rmmod pktgen
# insmod ./pktgen.ko
# ls -l /proc/net/pktgen/
合計 0
-rw------- 1 root root 0  6月 21 19:00 eth4
-rw------- 1 root root 0  6月 21 19:00 kpktgend_0
-rw------- 1 root root 0  6月 21 19:00 kpktgend_1
-rw------- 1 root root 0  6月 21 19:00 kpktgend_2
-rw------- 1 root root 0  6月 21 19:00 kpktgend_3
-rw------- 1 root root 0  6月 21 19:00 pgctrl
-rw------- 1 root root 0  6月 21 19:00 pgrx

と、このようにpgrxが新しく生えてきていることが確認できる。

基本的な使い方

さしあたり、構成は前回同様ループバック構成とする。
つまりこうだ。

1
2
3
4

                                       eth4
Generator (Ubuntu Server 13.04 amd64) |-------+
                | eth5                        | ↓ 試験トラフィック方向
                +-----------------------------|

とりあえず、どういった反応を返すのか見ていく。
最初の状態は何も表示されないので、モードをrxにする。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

# cat /proc/net/pktgen/pgrx
Not enabled.
# echo "rx" > /proc/net/pktgen/pgrx
# cat /proc/net/pktgen/pgrx
                RECEPTION STATISTICS
        PER-CPU Stats
CPU 0:  Rx packets: 0    Rx bytes: 0
CPU 1:  Rx packets: 0    Rx bytes: 0
CPU 2:  Rx packets: 0    Rx bytes: 0
CPU 3:  Rx packets: 0    Rx bytes: 0

        Global Statistics
Packets Rx: 0    Bytes Rx: 0

この状態で、とりあえずパケットを投げてみる。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# echo "rem_device_all"            > /proc/net/pktgen/kpktgend_0
# echo "add_device eth4"           > /proc/net/pktgen/kpktgend_0
# echo "count 10000"               > /proc/net/pktgen/eth4
# echo "clone_skb 1"               > /proc/net/pktgen/eth4
# echo "pkt_size 60"               > /proc/net/pktgen/eth4
# echo "delay 0"                   > /proc/net/pktgen/eth4
# echo "src_min 10.0.0.1"          > /proc/net/pktgen/eth4
# echo "src_max 10.0.0.1"          > /proc/net/pktgen/eth4
# echo "src_mac 02:00:00:00:00:01" > /proc/net/pktgen/eth4
# echo "dst 10.0.0.2"              > /proc/net/pktgen/eth4
# echo "dst_mac 02:00:00:00:00:02" > /proc/net/pktgen/eth4
# echo "start"                     > /proc/net/pktgen/pgctrl

と、こうなる。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

# cat /proc/net/pktgen/pgrx
                RECEPTION STATISTICS
        PER-CPU Stats
CPU 0:  Rx packets: 0    Rx bytes: 0
CPU 1:  Rx packets: 0    Rx bytes: 0
CPU 2:  Rx packets: 10000        Rx bytes: 600000
        Work time 7389 us
        Rate:  1353363pps 649Mb/sec (649614291bps)
CPU 3:  Rx packets: 0    Rx bytes: 0

        Global Statistics
Packets Rx: 10000        Bytes Rx: 600000
        Work time 7389 us
        Rate:  1353363pps 649Mb/sec (649614291bps)

60Byteを10000パケット送信したので、受信側のインタフェースでもそのようになる。
今回は、インタフェースを指定していないが、本来であれば受信インタフェースを指定してpgrxを有効にする。こんな感じ。

1

# echo "rx eth5" > /proc/net/pktgen/pgrx

ただし、このようにモードを指定した段階で統計情報は自動的にリセットされてしまうので、間違って履歴とか適当に選んでコマンド通すと統計情報が消える。

遅延測定

そもそも、pgrxに用意されたコマンドは、以下の5つしかない。

1
2
3
4
5

rx [device]
rx_reset
rx_disable
display [human|script]
statistics [counter|basic|basic6|time]

ここで、statisticsのモードを切り替えることで、遅延測定モードに移行することができる。
ではやってみよう。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# echo "rx eth5" > /proc/net/pktgen/pgrx
# echo "statistics time" > /proc/net/pktgen/pgrx
# cat /proc/net/pktgen/pgrx
                RECEPTION STATISTICS
        PER-CPU Stats
CPU 0:  Rx packets: 0    Rx bytes: 0
CPU 1:  Rx packets: 0    Rx bytes: 0
CPU 2:  Rx packets: 0    Rx bytes: 0
CPU 3:  Rx packets: 0    Rx bytes: 0

        Global Statistics
Packets Rx: 0    Bytes Rx: 0

初期状態では、特に違いはない。
ここで先ほどと同じようにパケットを送信する（コマンドは割愛）。
と、結果はこうなる。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

# cat /proc/net/pktgen/pgrx
                RECEPTION STATISTICS
        PER-CPU Stats
CPU 0:  Rx packets: 0    Rx bytes: 0
CPU 1:  Rx packets: 0    Rx bytes: 0
CPU 2:  Rx packets: 0    Rx bytes: 0
CPU 3:  Rx packets: 10000        Rx bytes: 600000
        Work time 7444 us
        Rate:  1343363pps 644Mb/sec (644814615bps)
        Inter-arrival
                Average: 744 ns Variance 12961971 ns2
                Max: 84434 ns Min:: 438 ns
                Samples: 9999
        Jitter
                Average: 576 ns Variance 25649595 ns2
                Max: 83981 ns Min:: 0 ns
                Samples: 9998
        Latency
                Average: 30428 ns Variance 236304851 ns2
                Max: 133618 ns Min:: 5672 ns
                Samples: 10000

        Global Statistics
Packets Rx: 10000        Bytes Rx: 600000
        Work time 7444 us
        Rate:  1343363pps 644Mb/sec (644814615bps)

Inter-arrival、Jitter、Latencyの3種類が取得できていることが確認できる。
間に装置を挟むことで、任意の装置で発生する遅延特性の測定が可能になる。

見た目の変更

とはいえ、今まで見てきたようなpgrxの出力は、見た目には優しいがスクリプト加工する側からするといまいちである。
そこで、見た目変更用のコマンドも用意されている。
先ほどのコマンド結果を残したまま、script向きの出力に変えてみよう。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

# echo "display script" > /proc/net/pktgen/pgrx
# cat /proc/net/pktgen/pgrx
0 0 0 0 0 0 0
1 0 0 0 0 0 0
2 0 0 0 0 0 0
3 10000 600000 7444 1343363 644 644814615 744 12961971 84434 438 9999 576 25649595 83981 0 9998 30428 236304851 133618 5672 10000
G 10000 600000 7444 1343363 644 644814615
# echo "display human" > /proc/net/pktgen/pgrx
# cat /proc/net/pktgen/pgrx
                RECEPTION STATISTICS
        PER-CPU Stats
CPU 0:  Rx packets: 0    Rx bytes: 0
CPU 1:  Rx packets: 0    Rx bytes: 0
CPU 2:  Rx packets: 0    Rx bytes: 0
CPU 3:  Rx packets: 10000        Rx bytes: 600000
        Work time 7444 us
        Rate:  1343363pps 644Mb/sec (644814615bps)
        Inter-arrival
                Average: 744 ns Variance 12961971 ns2
                Max: 84434 ns Min:: 438 ns
                Samples: 9999
        Jitter
                Average: 576 ns Variance 25649595 ns2
                Max: 83981 ns Min:: 0 ns
                Samples: 9998
        Latency
                Average: 30428 ns Variance 236304851 ns2
                Max: 133618 ns Min:: 5672 ns
                Samples: 10000

        Global Statistics
Packets Rx: 10000        Bytes Rx: 600000
        Work time 7444 us
        Rate:  1343363pps 644Mb/sec (644814615bps)

これを定期的に取得することで、単位時間当たりの遅延の変化も見ることができるはずだ。

まとめ

  • pktgen/pgrxを使って、統計カウンタの取得ができるよ
  • pktgen/pgrxを使って、パケット間隔/Jitter/遅延の測定ができるよ
  • メインラインマージはまだだから、自分でコンパイルしてね

容量用法を守って、楽しくベンチマーク！

参考文献

© 2010 - 2025 ainoniwa.net 技術ブログ
Hugo で構築されています。
テーマ Stack は Jimmy によって設計されています。