Fibre Channel (SAN)

Reply
Contributor
Posts: 27
Registered: ‎08-13-2007

Question regarding DLS and extended fabric ISLs

We are currently setting up for a refresh of our replication switches, going from McData 4700s to Brocade 5100s.  We have roughly 61 fiber km between us and our DR site.  The Brocade rep we talked to said to use LS mode and to double the km between sites as an entry.  We did that, but the switches are telling us to disable DLS because of the LS mode in a credit recovery environment.  Our questions are what does DLS do for us, what do we lose by disabling it, and what is the credit recovery piece that the message references?

Super Contributor
Posts: 635
Registered: ‎04-12-2010

Re: Question regarding DLS and extended fabric ISLs

Credit recovery will provide a more gracefull recovery procedure in case of lost buffers on the ISL.

If the ISL loose buffers the performance will go down over the time. Without credit recovery you have to disable and enable the affected port to get all buffers back. This can be very disruptive incase of a single DWDM link between both sides.

Many calculations about buffers asume that you have only full frames but this is not the case in reallity. This depends on the type of traffic you are sending over the like.

In your case the 5100 provides very much buffers. Please have a look in the FOS Administrator guide there you will find a very good section about longdistance. You will find the caculation how many buffers you need in case of smaller frames.

I wounder about your error message. Can you please post some more information.

FOS Version

DWDM Vendor and if your DWDM cards are transparent and 8Gbit enabled

Please post the error message from the errdump and port portcfgshow output of your longdistance ports.

Regards,
Andreas

Contributor
Posts: 27
Registered: ‎08-13-2007

Re: Question regarding DLS and extended fabric ISLs

FOS Version 6.4.1.a.

DWDM is Ciena with 1 Gb links and is transparent.

The error doesn't show up in the error dump, as I think it is a configuration suggestion more than a hard error.  The port cfg show is below:  Note that this switch is not in production yet so all of the ports are blocked.  The only ports configured are the ones to be used as long distance ISLs.

It appears that brocade is wanting to have fixed port routing as opposed to active load sharing when the extended ISLs are in play, not sure why though.  This is the error message that I get from webtools while enabling LS mode on my ISLs.clip_image002.jpg

Ports of Slot 0    0   1   2   3     4   5   6   7     8   9  10  11    12  13  14  15
-----------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
Speed              AN  AN  1G  AN    AN  AN  AN  AN    1G  AN  AN  AN    AN  AN  1G  AN
Fill Word          0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
AL_PA Offset 13    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Trunk Port         ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Long Distance      ..  ..  LS  ..    ..  ..  ..  ..    LS  ..  ..  ..    ..  ..  LS  ..
VC Link Init       ..  ..  ON  ..    ..  ..  ..  ..    ON  ..  ..  ..    ..  ..  ON  ..
Locked L_Port      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked G_Port      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Disabled E_Port    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked E_Port      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
ISL R_RDY Mode     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
RSCN Suppressed    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Persistent Disable ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
LOS TOV enable     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
NPIV capability    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
NPIV PP Limit     255 255 255 255   255 255 255 255   255 255 255 255   255 255 255 255
QOS E_Port         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
EX Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Mirror Port        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Rate Limit         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Credit Recovery    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Fport Buffers      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Port Auto Disable  ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
CSCTL mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

Fault Delay        0  0  0  0    0  0  0  0    0  0  0  0    0  0  0  0

Ports of Slot 0   16  17  18  19    20  21  22  23    24  25  26  27    28  29  30  31
-----------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
Speed              1G  1G  AN  AN    1G  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN
Fill Word          0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
AL_PA Offset 13    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Trunk Port         ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Long Distance      LS  LS  ..  ..    LS  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
VC Link Init       ON  ON  ..  ..    ON  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked L_Port      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked G_Port      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Disabled E_Port    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked E_Port      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
ISL R_RDY Mode     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
RSCN Suppressed    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Persistent Disable ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
LOS TOV enable     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
NPIV capability    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
NPIV PP Limit     255 255 255 255   255 255 255 255   255 255 255 255   255 255 255 255
QOS E_Port         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
EX Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Mirror Port        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Rate Limit         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Credit Recovery    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Fport Buffers      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Port Auto Disable  ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
CSCTL mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

Fault Delay        0  0  0  0    0  0  0  0    0  0  0  0    0  0  0  0

Ports of Slot 0   32  33  34  35    36  37  38  39
-----------------+---+---+---+---+-----+---+---+---
Speed              AN  AN  AN  AN    AN  AN  AN  AN
Fill Word          0   0   0   0     0   0   0   0
AL_PA Offset 13    ..  ..  ..  ..    ..  ..  ..  ..
Trunk Port         ON  ON  ON  ON    ON  ON  ON  ON
Long Distance      ..  ..  ..  ..    ..  ..  ..  ..
VC Link Init       ..  ..  ..  ..    ..  ..  ..  ..
Locked L_Port      ..  ..  ..  ..    ..  ..  ..  ..
Locked G_Port      ..  ..  ..  ..    ..  ..  ..  ..
Disabled E_Port    ..  ..  ..  ..    ..  ..  ..  ..
Locked E_Port      ..  ..  ..  ..    ..  ..  ..  ..
ISL R_RDY Mode     ..  ..  ..  ..    ..  ..  ..  ..
RSCN Suppressed    ..  ..  ..  ..    ..  ..  ..  ..
Persistent Disable ..  ..  ..  ..    ..  ..  ..  ..
LOS TOV enable     ..  ..  ..  ..    ..  ..  ..  ..
NPIV capability    ON  ON  ON  ON    ON  ON  ON  ON
NPIV PP Limit     255 255 255 255   255 255 255 255
QOS E_Port         ..  ..  ..  ..    ..  ..  ..  ..
EX Port            ..  ..  ..  ..    ..  ..  ..  ..
Mirror Port        ..  ..  ..  ..    ..  ..  ..  ..
Rate Limit         ..  ..  ..  ..    ..  ..  ..  ..
Credit Recovery    ON  ON  ON  ON    ON  ON  ON  ON
Fport Buffers      ..  ..  ..  ..    ..  ..  ..  ..
Port Auto Disable  ..  ..  ..  ..    ..  ..  ..  ..
CSCTL mode         ..  ..  ..  ..    ..  ..  ..  ..

Fault Delay        0  0  0  0    0  0  0  0
                  where AE:QoSAutoEnable, AN:AutoNegotiate, ..:OFF, NA:NotApplicable, ??:INVALID,

                        LM:L0.5

Fault Delay        0  0  0  0    0  0  0  0    0  0  0  0    0  0  0  0

Ports of Slot 0   16  17  18  19    20  21  22  23    24  25  26  27    28  29  30  31
-----------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
Speed              1G  1G  AN  AN    1G  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN
Fill Word          0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
AL_PA Offset 13    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Trunk Port         ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Long Distance      LS  LS  ..  ..    LS  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
VC Link Init       ON  ON  ..  ..    ON  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked L_Port      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked G_Port      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Disabled E_Port    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked E_Port      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
ISL R_RDY Mode     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
RSCN Suppressed    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Persistent Disable ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
LOS TOV enable     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
NPIV capability    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
NPIV PP Limit     255 255 255 255   255 255 255 255   255 255 255 255   255 255 255 255
QOS E_Port         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
EX Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Mirror Port        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Rate Limit         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Credit Recovery    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Fport Buffers      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Port Auto Disable  ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
CSCTL mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

Fault Delay        0  0  0  0    0  0  0  0    0  0  0  0    0  0  0  0

Ports of Slot 0   32  33  34  35    36  37  38  39
-----------------+---+---+---+---+-----+---+---+---
Speed              AN  AN  AN  AN    AN  AN  AN  AN
Fill Word          0   0   0   0     0   0   0   0
AL_PA Offset 13    ..  ..  ..  ..    ..  ..  ..  ..
Trunk Port         ON  ON  ON  ON    ON  ON  ON  ON
Long Distance      ..  ..  ..  ..    ..  ..  ..  ..
VC Link Init       ..  ..  ..  ..    ..  ..  ..  ..
Locked L_Port      ..  ..  ..  ..    ..  ..  ..  ..
Locked G_Port      ..  ..  ..  ..    ..  ..  ..  ..
Disabled E_Port    ..  ..  ..  ..    ..  ..  ..  ..
Locked E_Port      ..  ..  ..  ..    ..  ..  ..  ..
ISL R_RDY Mode     ..  ..  ..  ..    ..  ..  ..  ..
RSCN Suppressed    ..  ..  ..  ..    ..  ..  ..  ..
Persistent Disable ..  ..  ..  ..    ..  ..  ..  ..
LOS TOV enable     ..  ..  ..  ..    ..  ..  ..  ..
NPIV capability    ON  ON  ON  ON    ON  ON  ON  ON
NPIV PP Limit     255 255 255 255   255 255 255 255
QOS E_Port         ..  ..  ..  ..    ..  ..  ..  ..
EX Port            ..  ..  ..  ..    ..  ..  ..  ..
Mirror Port        ..  ..  ..  ..    ..  ..  ..  ..
Rate Limit         ..  ..  ..  ..    ..  ..  ..  ..
Credit Recovery    ON  ON  ON  ON    ON  ON  ON  ON
Fport Buffers      ..  ..  ..  ..    ..  ..  ..  ..
Port Auto Disable  ..  ..  ..  ..    ..  ..  ..  ..
CSCTL mode         ..  ..  ..  ..    ..  ..  ..  ..

Fault Delay        0  0  0  0    0  0  0  0
                  where AE:QoSAutoEnable, AN:AutoNegotiate, ..:OFF, NA:NotApplicable, ??:INVALID,

                        LM:L0.5

External Moderator
Posts: 5,034
Registered: ‎02-23-2004

Re: Question regarding DLS and extended fabric ISLs

--->>> DWDM is Ciena with 1 Gb links and is transparent.

if you are using 8GB SFP+....

SFP+ not support 1GB Link, in such case you have to use 4G SFP

TechHelp24
Contributor
Posts: 27
Registered: ‎08-13-2007

Re: Question regarding DLS and extended fabric ISLs

We are using 4Gb SFPs due to the Ciena.

Super Contributor
Posts: 635
Registered: ‎04-12-2010

Re: Question regarding DLS and extended fabric ISLs

can you please check if you have on both ends of the DWDM the same routing policy enabled?

The command is aptpolicy

It is intresting if exchange or port based routing policy is enabled on both switches.

ANdreas

Contributor
Posts: 27
Registered: ‎08-13-2007

Re: Question regarding DLS and extended fabric ISLs

They are both using DLS currently.  Note that the switches involved are not connected yet.  All ports are blocked.  We are looking to swing connections from a McData 4700 to the 5100s in the near future and that is the reason for working through this config.

Join the Community

Get quick and easy access to valuable resource designed to help you manage your Brocade Network.

vADC is now Pulse Secure
Download FREE NVMe eBook