MPLSのTTL処理とMTU

MPLSのTTL処理とMTU

MPLSのラベルは32ビットのうち8ビットをTTLに使います。入口のLSRがIPヘッダーのTTLをここへ写すかどうかで、コアのルータがtracerouteに見えるかが変わります。もう1つ、ラベルは1段につき4バイトを消費するので、リンクのMTUに対して運べるIPパケットがその分だけ小さくなります。本記事ではこの2点を解説し、IOS XR（XRd）のラボで確かめます。ラベルの形式はMPLSラベルとラベルスタックで解説しています。

ラベルのTTLとIPのTTL

MPLSのTTLはIPのTTLとは別のフィールドです。ラベル付きで転送している間、LSRが減らすのは先頭のラベルのTTLだけで、中のIPヘッダーには触れません。

入口のLSRがラベルを積むとき、TTLに何を入れるかで2通りに分かれます。RFC 3443はこれをuniformモデルとpipe / short pipeモデルとして整理しています。

uniformでは、コアを通った分だけIPのTTLが減ります。tracerouteのプローブはTTLを1ずつ増やして送るので、コアのLSRがTTL超過のICMPを返し、P1 / P2が経路として見えます。伝搬を止めるとラベルのTTLは255から始まり、コアで尽きることがありません。コアはICMPを返さず、CE1から見るとPEの間が1ホップに見えます。

IOS XRではmpls ip-ttl-propagate disableで切り替えます。設定するのは入口になるPEだけで、方向ごとに独立しています。PE1にだけ入れた場合、CE1からCE2へのtracerouteではコアが消え、CE2からCE1へのtracerouteでは見えたままになります。

コアの構成を利用者に見せたくない事業者はこれを止めます。一方で止めると経路の追跡が難しくなるため、運用のしやすさとのトレードオフになります。

ラベルはMTUを消費する

ラベルは1段につき4バイトです。リンクのMTUは変わらないので、ラベルを積んだ分だけ運べるIPパケットが小さくなります。

IOS XRのインタフェースのmtuはL2のMTUで、イーサネットヘッダー14バイトを含みます。既定の1514はIPのMTUが1500という意味です。MPLSのMTUはここから独立して設定するのではなく、L2のMTUから14を引いた値になります。

コアのL2のMTUをMとすると、通せるIPパケットの上限は次のようになります。

上限を超えたパケットが入口のPEに届くと、IPヘッダーのDFビットで扱いが分かれます。DFが立っていなければPEが断片化してから転送します。立っていれば転送できないので破棄し、送信元へICMPのType 3 Code 4（Fragmentation Needed）を返します。このとき通知するMTUはラベルの分を引いた値なので、Path MTU Discoveryが正しく働きます。

実運用では、コアのMTUを1500より大きくして利用者が1500バイトをそのまま通せるようにします。1500をわずかに超えるだけのフレームをベビージャイアントと呼び、コアのスイッチやルータでこれを許可する設定が必要になります。

実機での検証

検証環境

CE1 — PE1 — P1 — P2 — PE2 — CE2 を直列につないでいます。AS 65001のPE1 / P1 / P2 / PE2がMPLSネットワークで、OSPF（area 0、全リンクnetwork point-to-point）で経路を、LDPでラベルを配っています。CE1とCE2はPEとeBGPで経路を交換し、PE1とPE2はLoopback0間のiBGP（next-hop-self）を張っています。CE3 / CE4はVRF CUST-Aの顧客で、ラベルが2段になる場合の確認に使います。

CE1 - PE1、PE1 - P1、P2 - PE2の3リンクでキャプチャーし、TTLの値とフレーム長、ICMPの内容を確かめます。

検証のSTEP

STEP 0：初期状態（コアのMTU 1514、TTL伝搬あり）

CE1からCE2へのtracerouteです。コアのP1（10.2.3.3）とP2（10.3.4.4）が経路に出ています。

 1  10.1.2.2 5 msec  4 msec  4 msec 
 2  10.2.3.3 [MPLS: Label 24003 Exp 0] 13 msec  11 msec  13 msec 
 3  10.3.4.4 [MPLS: Label 24003 Exp 0] 12 msec  12 msec  12 msec 
 4  10.4.5.5 36 msec  13 msec  12 msec 
 5  10.5.6.6 73 msec  *  17 msec 

各リンクのキャプチャーからTTLを拾うと、入口でIPのTTLがラベルへ写り、コアを通った分が出口でIPへ戻っていることが読めます。

PE1が255から1を引いた254をラベルに写し、P1とP2がラベルのTTLを1ずつ減らします。P2がpopするとき、その値252がIPヘッダーへ書き戻されます。

MTUの上限はDFビットを立てたpingで測れます。1496バイトは通り、1497バイトは通りません。

RP/0/RP0/CPU0:CE1#ping 192.168.6.1 source 192.168.1.1 size 1496 df-bit count 5
Thu Sep 10 07:53:32.159 UTC
Type escape sequence to abort.
Sending 5, 1496-byte ICMP Echos to 192.168.6.1 timeout is 2 seconds:
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 15/16/22 ms
RP/0/RP0/CPU0:CE1#ping 192.168.6.1 source 192.168.1.1 size 1497 df-bit count 5
Thu Sep 10 07:53:32.926 UTC
Type escape sequence to abort.
Sending 5, 1497-byte ICMP Echos to 192.168.6.1 timeout is 2 seconds:
.....
Success rate is 0 percent (0/5)

CLIには.が並ぶだけですが、CE1 - PE1のキャプチャーにはPE1が返したICMPが入っています。

VRF CUST-Aではラベルが2段になるので、上限は4バイト分さらに小さい1492バイトになります。

STEP 1：コア4リンクのMTUを1400に下げる

コアの4リンクにmtu 1400を入れます。IOS XRのインタフェースのmtuはL2のMTUなので、IPとMPLSのMTUは1386になります。

  MTU 1400 bytes, BW 1000000 Kbit (Max: 1000000 Kbit)

上限は1ラベルで1382、2ラベルで1378へ下がりました。DFを外すと同じサイズが通ります。

RP/0/RP0/CPU0:CE1#ping 192.168.6.1 source 192.168.1.1 size 1382 df-bit count 5
Thu Sep 10 12:37:40.256 UTC
Type escape sequence to abort.
Sending 5, 1382-byte ICMP Echos to 192.168.6.1 timeout is 2 seconds:
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 13/14/18 ms
RP/0/RP0/CPU0:CE1#ping 192.168.6.1 source 192.168.1.1 size 1383 df-bit count 5
Thu Sep 10 12:37:41.222 UTC
Type escape sequence to abort.
Sending 5, 1383-byte ICMP Echos to 192.168.6.1 timeout is 2 seconds:
.....
Success rate is 0 percent (0/5)
RP/0/RP0/CPU0:CE1#ping 192.168.6.1 source 192.168.1.1 size 1383 count 5
Thu Sep 10 12:37:52.171 UTC
Type escape sequence to abort.
Sending 5, 1383-byte ICMP Echos to 192.168.6.1 timeout is 2 seconds:
!!!!!
Success rate is 100 percent (5/5), round-trip min/avg/max = 14/16/21 ms

2つのMTUで測った値を並べると、ラベル1段が4バイトであることが数値で追えます。

ICMPが通知するMTUも1382に変わりました。ラベルの分を引いた値を返すので、送信元のPath MTU Discoveryはラベルの存在を知らないまま正しいサイズに収束できます。

PE1 - P1のキャプチャーでは、フレームの最大長が1400バイトになっています。L2のMTUがそのまま上限として効いています。

STEP 2：PE1にmpls ip-ttl-propagate disable

PE1にだけ設定します。CE1からCE2へのtracerouteは5ホップから3ホップに減り、コアが見えなくなりました。

 1  10.1.2.2 6 msec  4 msec  4 msec 
 2  10.4.5.5 12 msec  10 msec  10 msec 
 3  10.5.6.6 14 msec  *  16 msec 

同じときにCE2からCE1へtracerouteすると、こちらは5ホップのままです。入口となるPE2に設定していないためで、設定した向きだけが変わります。

 1  10.5.6.5 5 msec  4 msec  4 msec 
 2  10.4.5.4 [MPLS: Label 24002 Exp 0] 11 msec  11 msec  12 msec 
 3  10.3.4.3 [MPLS: Label 24002 Exp 0] 12 msec  12 msec  11 msec 
 4  10.2.3.2 12 msec  12 msec  12 msec 
 5  10.1.2.1 17 msec  *  16 msec 

VRFのCE3からCE4も3ホップになります。2番目に残っているLabel 24005はVPNラベルで、PHPで外れるのは先頭のトランスポートラベルだけです。

 1  10.2.7.2 6 msec  5 msec  5 msec 
 2  10.4.5.5 [MPLS: Label 24005 Exp 0] 52 msec  21 msec  13 msec 
 3  10.5.8.8 16 msec  *  16 msec 

キャプチャーのTTLはSTEP 0と変わります。ラベルのTTLが255から始まり、コアを通ってもIPのTTLが減りません。

伝搬ありでは出口に届いた時点で252、伝搬なしでは253です。差の1がコアの2ホップ分から入口の1ホップ分を引いた値にあたります。コアはIPのTTLに触れないので、利用者からはPEの間が1ホップに見えます。

MTUの上限はSTEP 1と同じ1382のままです。TTLの設定はパケットの大きさに関係しません。

STEP 3：STEP 1・2を削除（最終状態）

両方を外すと、MTUは1514、tracerouteは5ホップ、上限は1496と1492に戻ります。

 1  10.1.2.2 7 msec  4 msec  4 msec 
 2  10.2.3.3 [MPLS: Label 24003 Exp 0] 15 msec  12 msec  14 msec 
 3  10.3.4.4 [MPLS: Label 24003 Exp 0] 16 msec  12 msec  13 msec 
 4  10.4.5.5 16 msec  14 msec  14 msec 
 5  10.5.6.6 19 msec  *  16 msec 

なおmtuを変更するとインタフェースがいったん落ちるため、OSPFの隣接が再確立します。STEP 1とSTEP 3の..._log.txtにNeighbor Down: interface down or detachedが残っているのはこのためです。片側だけ変更するとMTUが食い違い、OSPFがEXSTARTやEXCHANGEで止まります。両端をまとめて変更してください。

ベビージャイアントについて

コアのMTUを1500より大きくして利用者の1500バイトをそのまま通す構成は、このラボでは確認していません。XRdはmtu 1600を受け付け、PE1から1518バイトのフレームが出るところまでは観測できましたが、対向のP1に届かず、P1側のカウンタにもgiantsやinput errorsが計上されませんでした。CMLの仮想リンクが1514バイトで頭打ちになっているためで、ルータの設定では越えられません。

キャプチャー

各STEPでCE1 - PE1、PE1 - P1、P2 - PE2の3リンクを同時に採取しています。MPLSを含むためフィルターなしで取得しました。

STEP 0 CE1 - PE1

STEP 0 PE1 - P1

STEP 0 P2 - PE2

STEP 1 CE1 - PE1

STEP 1 PE1 - P1

STEP 1 P2 - PE2

STEP 2 CE1 - PE1

STEP 2 PE1 - P1

STEP 2 P2 - PE2

STEP 3 CE1 - PE1

STEP 3 PE1 - P1

STEP 3 P2 - PE2

検証Configおよびshow結果

各STEPで8台すべてから、次の種類をルータごとに分けて取得しています。検証Configはこの..._run.txtです（最終状態は最後のSTEPのもの）。

STEP 0：初期状態（コアのMTU 1514、TTL伝搬あり）

STEP 1：コア4リンクのMTUを1400に下げる

STEP 2：PE1にmpls ip-ttl-propagate disable

STEP 3：STEP 1・2を削除（最終状態）

参考

書籍: Luc De Ghein『MPLS Fundamentals』（Cisco Press, 2006）Chapter 3

関連記事

• MPLSとは
• MPLSラベルとラベルスタック
• MPLSのラベル操作（push / swap / pop）とPHP
• MPLSのTTL処理とMTU
• LDPとは
• LDPのラベル配布モードとラベルスペース