For more details, please see ourCookie Policy.


Fibre Channel (SAN)

Reply
Occasional Contributor
Posts: 6
Registered: ‎01-05-2018

discard c3 & bottleneck alerts on ISL

[ Edited ]

Issues:
- bottleneck errors / bc starvation (?)
- discard c3 errors
- Fabric changes

Topology

FLEX SAN01 (port 38 & 39) - BROCADE 6510-01 (Port 3 & 11) - 2 other site- BROCADE 6505-01
FLEX SAN02 - BROCADE 6510-02 - 2 other site -BROCADE 6505-02

 

Symptom 1:
disc c3 errors on all connected ports

FLEX_SAN01:admin> porterrshow
          frames      enc    crc    crc    too    too    bad    enc   disc   link   loss   loss   frjt   fbsy  c3timeout    pcs
       tx     rx      in    err    g_eof  shrt   long   eof     out   c3    fail    sync   sig                 tx    rx    err
  0:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
  1:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
  2:    2.3g 418.7m   0      0      0      0      0      0      0     36      0      0      0      0      0      0      0      0
  3:  488.4m 493.5m   0      0      0      0      0      0      0     84      0      0      0      0      0      0      0      0
  4:    2.7g 307.4m   0      0      0      0      0      0      0     93      0      0      0      0      0      0      0      0
  5:    1.2g   2.2g   0      0      0      0      0      0      0      8      0      0      0      0      0      0      0      0
  6:  287.7m 117.0m   0      0      0      0      0      0      0     10      0      0      0      0      0      0      0      0
  7:    2.2g 876.3m   0      0      0      0      0      0      0      2      0      0      0      0      0      0      0      0
  8:    2.4g 825.9m   0      0      0      0      0      0      0     18      0      0      0      0      0      0      0      0
  9:  533.9m 413.1m   0      0      0      0      0      0      0     20      0      0      0      0      0      0      0      0
 10:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 11:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 12:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 13:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 14:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 15:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 16:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 17:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 18:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 19:    1.2g   2.2g   0      0      0      0      0      0      0     12      0      0      0      0      0      0      0      0
 20:  288.3m 119.4m   0      0      0      0      0      0      0     12      0      0      0      0      0      0      0      0
 21:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 22:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 23:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 24:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 25:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 26:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 27:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 28:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 29:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 30:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 31:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 32:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 33:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 34:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 35:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 36:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 37:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 38:    4.0g   2.6g   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 39:    4.0g   2.6g   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 40:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 41:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 42:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 43:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 44:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 45:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 46:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 47:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
FLEX_SAN01:admin>

Symptom 2
BNA / Fabric Change Tracking active
BNA reports regular fabric changes (additions & removals) relative to FLEX_SANxx connected hosts

Symptom 3
Bottleneck alerts relative to ISL ports between Core 6510 & Edge FLEX FC5022 San switch

Port 3 on  Brocade 6510 connects to Port 38 on FLEX_SAN01
Port 11 on Brocade 6510 connects to Port 39 on FLEX_SAN01

Perspective from Brocade 6510

100207 30 4 1 0 SAN6510_BXL_FAB1 10.20.209.203 Fri Jan 05 00:31:59 CET 2018 Fri Jan 05 00:31:59

CET 2018 1  1 1 Latency bottleneck on E-Port 3. 20.00 pct. of 5 secs. affected. Avg. delay 10 us.

Avg. slowdown 8. 1 AN-1003 10.20.209.203 None 10:00:C4:F5:7C:C0:A6:8D Healthy Fri Jan 05 00:31:59 CET 2018 Fri

Jan 05 00:31:59 CET 2018 -1 
100133 30 4 1 0 SAN6510_BXL_FAB1 10.20.209.203 Thu Jan 04 08:00:40 CET 2018 Thu Jan 04 08:00:40

CET 2018 1  1 1 Latency bottleneck on E-Port 11. 20.00 pct. of 5 secs. affected. Avg. delay 19 us.

Avg. slowdown 10. 1 AN-1003 10.20.209.203 None 10:00:C4:F5:7C:C0:A6:8D Healthy Thu Jan 04 08:00:40 CET 2018 Thu

Jan 04 08:00:40 CET 2018 -1 
100122 30 4 1 0 SAN6510_BXL_FAB1 10.20.209.203 Thu Jan 04 08:00:40 CET 2018 Thu Jan 04 08:00:35

CET 2018 2  1 1 Bottleneck detected due to 0/11 at port : 11 1  10.20.209.203 

None 10:00:C4:F5:7C:C0:A6:8D Healthy Thu Jan 04 08:00:35 CET 2018 Thu Jan 04 08:00:35 CET 2018 -1 
100131 70 4 1 0 SAN6510_BXL_FAB2 10.20.209.204 Thu Jan 04 08:00:40 CET 2018 Thu Jan 04 08:00:40

CET 2018 1  1 1 Latency bottleneck on E-Port 3. 20.00 pct. of 5 secs. affected. Avg. delay 19 us.

Avg. slowdown 9. 1 AN-1003 10.20.209.204 None 10:00:C4:F5:7C:C0:A5:8D Healthy Thu Jan 04 08:00:40 CET 2018 Thu

Jan 04 08:00:40 CET 2018 -1 
100119 70 4 1 0 SAN6510_BXL_FAB2 10.20.209.204 Thu Jan 04 08:00:40 CET 2018 Thu Jan 04 08:00:34

CET 2018 2  1 1 Bottleneck detected due to 0/3 at port : 3 1  10.20.209.204 

None 10:00:C4:F5:7C:C0:A5:8D Healthy Thu Jan 04 08:00:34 CET 2018 Thu Jan 04 08:00:34 CET 2018 -1 
100129 30 4 1 0 SAN6510_BXL_FAB1 10.20.209.203 Thu Jan 04 08:00:39 CET 2018 Thu Jan 04 08:00:39

CET 2018 1  1 1 Latency bottleneck on E-Port 3. 40.00 pct. of 5 secs. affected. Avg. delay 17 us.

Avg. slowdown 10. 1 AN-1003 10.20.209.203 None 10:00:C4:F5:7C:C0:A6:8D Healthy Thu Jan 04 08:00:39 CET 2018 Thu

Jan 04 08:00:39 CET 2018 -1 
100116 30 4 1 0 SAN6510_BXL_FAB1 10.20.209.203 Thu Jan 04 08:00:39 CET 2018 Thu Jan 04 08:00:34

CET 2018 2  1 1 Bottleneck detected due to 0/3 at port : 3 1  10.20.209.203 

None 10:00:C4:F5:7C:C0:A6:8D Healthy Thu Jan 04 08:00:34 CET 2018 Thu Jan 04 08:00:34 CET 2018 -1 
100127 70 4 1 0 SAN6510_BXL_FAB2 10.20.209.204 Thu Jan 04 08:00:36 CET 2018 Thu Jan 04 08:00:36

CET 2018 1  1 1 Latency bottleneck on E-Port 11. 20.00 pct. of 5 secs. affected. Avg. delay 18 us.

Avg. slowdown 9. 1 AN-1003 10.20.209.204 None 10:00:C4:F5:7C:C0:A5:8D Healthy Thu Jan 04 08:00:36 CET 2018 Thu

Jan 04 08:00:36 CET 2018 -1 
100125 70 4 1 0 SAN6510_BXL_FAB2 10.20.209.204 Thu Jan 04 08:00:36 CET 2018 Thu Jan 04 08:00:36

CET 2018 1  1 1 Bottleneck detected due to 0/11 at port : 11 1  10.20.209.204 

None 10:00:C4:F5:7C:C0:A5:8D Healthy Thu Jan 04 08:00:36 CET 2018 Thu Jan 04 08:00:36 CET 2018 -1 
100124 30 4 1 0 SAN6510_BXL_FAB1 10.20.209.203 Thu Jan 04 08:00:35 CET 2018 Thu Jan 04 08:00:35

CET 2018 1  1 1 Latency bottleneck on E-Port 11. 20.00 pct. of 5 secs. affected. Avg. delay 16 us.

Avg. slowdown 11. 1 AN-1003 10.20.209.203 None 10:00:C4:F5:7C:C0:A6:8D Healthy Thu Jan 04 08:00:35 CET 2018 Thu

Jan 04 08:00:35 CET 2018 -1 
100121 70 4 1 0 SAN6510_BXL_FAB2 10.20.209.204 Thu Jan 04 08:00:35 CET 2018 Thu Jan 04 08:00:35

CET 2018 1  1 1 Latency bottleneck on E-Port 3. 20.00 pct. of 5 secs. affected. Avg. delay 16 us.

Avg. slowdown 15. 1 AN-1003 10.20.209.204 None 10:00:C4:F5:7C:C0:A5:8D Healthy Thu Jan 04 08:00:35 CET 2018 Thu

Jan 04 08:00:35 CET 2018 -1 
100118 30 4 1 0 SAN6510_BXL_FAB1 10.20.209.203 Thu Jan 04 08:00:34 CET 2018 Thu Jan 04 08:00:34

CET 2018 1  1 1 Latency bottleneck on E-Port 3. 20.00 pct. of 5 secs. affected. Avg. delay 20 us.

Avg. slowdown 15. 1 AN-1003 10.20.209.203 None 10:00:C4:F5:7C:C0:A6:8D Healthy Thu Jan 04 08:00:34 CET 2018 Thu

Jan 04 08:00:34 CET 2018 -1 
100109 30 4 1 0 SAN6510_BXL_FAB1 10.20.209.203 Wed Jan 03 16:34:54 CET 2018 Wed Jan 03 16:34:54

CET 2018 1  1 1 Congestion bottleneck on F-Port 12. 20.00 pct. of 5 secs. affected. 1 

AN-1004 10.20.209.203 None 10:00:C4:F5:7C:C0:A6:8D Healthy Wed Jan 03 16:34:54 CET 2018 Wed Jan 03 16:34:54 CET 2018 -1 
100107 30 4 1 0 SAN6510_BXL_FAB1 10.20.209.203 Wed Jan 03 16:34:54 CET 2018 Wed Jan 03 16:34:54

CET 2018 1  1 1 Bottleneck detected due to 0/12 at port : 12 1  10.20.209.203 

None 10:00:C4:F5:7C:C0:A6:8D Healthy Wed Jan 03 16:34:54 CET 2018 Wed Jan 03 16:34:54 CET 2018 -1 


Config
portcfgshow
FLEX_SAN01:admin> portcfgshow

Ports of Slot 0         0   1   2   3     4   5   6   7     8   9  10  11    12  13  14  15
----------------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
Speed                  AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN
AL_PA Offset 13        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Trunk Port             ON  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Long Distance          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
VC Link Init           ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked L_Port           -   -   -   -     -   -   -   -     -   -   -   -     -   -   -   -
Locked G_Port          ..  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Disabled E_Port        ..  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Locked E_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
ISL R_RDY Mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
RSCN Suppressed        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Persistent Disable     ON  ON  ..  ..    ..  ..  ..  ..    ..  ..  ON  ON    ON  ON  ON  ON
LOS TOV enable         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
NPIV capability        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
NPIV PP Limit          126 126 126 126   126 126 126 126   126 126 126 126   126 126 126 126
NPIV FLOGI Logout      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
QOS Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
EX Port                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Mirror Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Rate Limit             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Credit Recovery        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Fport Buffers          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Eport Credits          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Port Auto Disable      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
CSCTL mode             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
D-Port mode            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
D-Port over DWDM       ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Compression            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Encryption             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
FEC                    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
FEC via TTS            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Fault Delay             0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
SIM Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Non-DFE                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

Ports of Slot 0        16  17  18  19    20  21  22  23    24  25  26  27    28  29  30  31
----------------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
Speed                  AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN
AL_PA Offset 13        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Trunk Port             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ON  ON  ON
Long Distance          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
VC Link Init           ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked L_Port           -   -   -   -     -   -   -   -     -   -   -   -     -   -   -   -
Locked G_Port          ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ..  ..  ..
Disabled E_Port        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ..  ..  ..
Locked E_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
ISL R_RDY Mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
RSCN Suppressed        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Persistent Disable     ON  ON  ON  ..    ..  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
LOS TOV enable         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
NPIV capability        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
NPIV PP Limit          126 126 126 126   126 126 126 126   126 126 126 126   126 126 126 126
NPIV FLOGI Logout      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
QOS Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
EX Port                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Mirror Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Rate Limit             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Credit Recovery        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Fport Buffers          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Eport Credits          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Port Auto Disable      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
CSCTL mode             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
D-Port mode            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
D-Port over DWDM       ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Compression            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Encryption             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
FEC                    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
FEC via TTS            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Fault Delay             0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
SIM Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Non-DFE                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

Ports of Slot 0        32  33  34  35    36  37  38  39    40  41  42  43    44  45  46  47
----------------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
Speed                  AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN
AL_PA Offset 13        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Trunk Port             ON  ON  ON  ON    ..  ..  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Long Distance          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
VC Link Init           ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked L_Port           -   -   -   -     -   -   -   -     -   -   -   -     -   -   -   -
Locked G_Port          ..  ..  ..  ..    ON  ON  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Disabled E_Port        ..  ..  ..  ..    ON  ON  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Locked E_Port          ..  ..  ..  ..    ..  ..  ON  ON    ..  ..  ..  ..    ..  ..  ..  ..
ISL R_RDY Mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
RSCN Suppressed        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Persistent Disable     ON  ON  ON  ON    ON  ON  ..  ..    ON  ON  ON  ON    ON  ON  ON  ON
LOS TOV enable         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
NPIV capability        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
NPIV PP Limit          126 126 126 126   126 126 126 126   126 126 126 126   126 126 126 126
NPIV FLOGI Logout      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
QOS Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
EX Port                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Mirror Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Rate Limit             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Credit Recovery        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
Fport Buffers          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Eport Credits          ..  ..  ..  ..    ..  ..  ON  ON    ..  ..  ..  ..    ..  ..  ..  ..
Port Auto Disable      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
CSCTL mode             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
D-Port mode            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
D-Port over DWDM       ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Compression            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Encryption             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
FEC                    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
FEC via TTS            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Fault Delay             0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
SIM Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
Non-DFE                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

Portbuffershow
Recently increased from: the default to 166 bc's on E-ports 38 & 39
FLEX_SAN01:admin> portbuffershow
User     Port     Lx     Max/Resv  Avg Buffer Usage & FrameSize    Buffer Needed     Link     Remaining
Port     Type    Mode    Buffers        Tx         Rx              Usage  Buffers   Distance  Buffers
----     ----    ----    -------   ----------------------------    ------ -------   --------- ----------
   0               -         8       - (  - )      - (  - )           0       -          -
   1               -         8       - (  - )      - (  - )           0       -          -
   2       F       -         8       - ( 600)       3(3460)           8       -          -
   3       F       -         8       - (  84)      - ( 724)           8       -          -
   4       F       -         8       - (  - )      - ( 812)           8       -          -
   5       F       -         8       - ( 268)       1(1600)           8       -          -
   6       F       -         8       - ( 580)       1(1792)           8       -          -
   7       F       -         8       - ( 216)       1(2032)           8       -          -
   8       F       -         8       - ( 792)       1(1644)           8       -          -
   9       F       -         8       - ( 228)      - ( 696)           8       -          -
  10               -         8       - (  - )      - (  - )           0       -          -
  11               -         8       - (  - )      - (  - )           0       -          -
  12               -         8       - (  - )      - (  - )           0       -          -
  13               -         8       - (  - )      - (  - )           0       -          -
  14               -         8       - (  - )      - (  - )           0       -          -
  15               -         8       - (  - )      - (  - )           0       -          -
  16               -         8       - (  - )      - (  - )           0       -          -
  17               -         8       - (  - )      - (  - )           0       -          -
  18               -         8       - (  - )      - (  - )           0       -          -
  19       F       -         8       - ( 300)       1(1432)           8       -          -
  20       F       -         8       - ( 404)       1(1704)           8       -          -
  21               -         8       - (  - )      - (  - )           0       -          -
  22               -         8       - (  - )      - (  - )           0       -          -
  23               -         8       - (  - )      - (  - )           0       -          -
  24               -         8       - (  - )      - (  - )           0       -          -
  25               -         8       - (  - )      - (  - )           0       -          -
  26               -         8       - (  - )      - (  - )           0       -          -
  27               -         8       - (  - )      - (  - )           0       -          -
  28               -         8       - (  - )      - (  - )           0       -          -
  29               -         8       - (  - )      - (  - )           0       -          -
  30               -         8       - (  - )      - (  - )           0       -          -
  31               -         8       - (  - )      - (  - )           0       -          -
  32               -         8       - (  - )      - (  - )           0       -          -
  33               -         8       - (  - )      - (  - )           0       -          -
  34               -         8       - (  - )      - (  - )           0       -          -
  35               -         8       - (  - )      - (  - )           0       -          -
  36               -         8       - (  - )      - (  - )           0       -          -
  37               -         8       - (  - )      - (  - )           0       -          -
  38       E       -       166       31(1564)       5( 276)          26      26        <2km
  39       E       -       166       28(1420)       4( 220)          26      26        <2km
  40               -         8       - (  - )      - (  - )           0       -          -
  41               -         8       - (  - )      - (  - )           0       -          -
  42               -         8       - (  - )      - (  - )           0       -          -
  43               -         8       - (  - )      - (  - )           0       -          -
  44               -         8       - (  - )      - (  - )           0       -          -
  45               -         8       - (  - )      - (  - )           0       -          -
  46               -         8       - (  - )      - (  - )           0       -          -
  47               -         8       - (  - )      - (  - )           0       -          -       7396

 

New Contributor
Posts: 3
Registered: ‎06-05-2014

Re: discard c3 & bottleneck alerts on ISL

Check all ports for c3rx and TX they will say you where is theproblem
Jean-Luc Tarik Aslan
Storage - senior storage engineer
Certified : BCFA Gen5, BCFD Gen5, BCEFP 2015, SCSE, SCSA, SCSN-E, EMCISA-v2
INI-ON-CIS-GSV-STO
Itt-Ey10 – A.3.7a

email : Jean-Luc.Aslan@swisscom.com
wechat: tarikzh
Occasional Contributor
Posts: 6
Registered: ‎01-05-2018

Re: discard c3 & bottleneck alerts on ISL

I did for rx & tx and all show 0 frames are being discarded due to timeouts

 

FLEX_SAN01:admin> for i in 0/0 0/1 0/2 0/4 /0/5 0/6 0/7 0/8 0/9 0/10 0/11 /012 0/13 0/14 0/15 0/16 0/17 0/18 0/19 0/20 0/21 0/22 0/23 0/24 0/25 0/26 0/27 0/28 0/29              0/30 0/31 0/32 0/33 0/34 0/35 0/36 0/37 0/38 0/39 0/40 0/41 0/42 0/43 0/44 0/45 0/46 0/47   ; do portstatsshow $i | grep "er_rx_c3_timeout" ; done
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout
er_rx_c3_timeout        0           Class 3 receive frames discarded due to timeout

New Contributor
Posts: 3
Registered: ‎06-05-2014

Re: discard c3 & bottleneck alerts on ISL

check all your ports with  of your switchs after c3RX & C3TX errors (portstatsshow... you will find fast the start point of your problem

 

 C3Tx  mean the port is trying to send frame to  an other element and come in timeout.... the other end of the cable should show Rxc3... and so one... then on that switch look for other c3rx/tx

Jean-Luc Tarik Aslan
Storage - senior storage engineer
Certified : BCFA Gen5, BCFD Gen5, BCEFP 2015, SCSE, SCSA, SCSN-E, EMCISA-v2
INI-ON-CIS-GSV-STO
Itt-Ey10 – A.3.7a

email : Jean-Luc.Aslan@swisscom.com
wechat: tarikzh
Occasional Contributor
Posts: 6
Registered: ‎01-05-2018

Re: discard c3 & bottleneck alerts on ISL

A actually have no c3 tx timeouts  or c3 rx timeouts.

So my c3 discard counter goes up, but without having timeouts.

I did find an less obvious explanation :

  • disc c3

    Class 3 frames discarded: This affects the receiving link: The number of Class 3 frames discarded. Class 3 frames can be discarded due to timeouts or invalid or unreachable destinations. This counter increment during normal operation. It can also be used to show the effect of port congestion, means good frames from consecutive S-ID's and D-ID's not being directly routed port to port, but instead an exception frame is routed through the internal port (that normally should not happen with a port to port routing on the ASIC, but it does when the D-ID port suffers a buffer full condition and cannot accept any more frames). Also, if the destination is blocked due to high ISL workload (means that is: a long time with BB Credit Buffer = 0), that can cause buffer full conditions, therefore the S-ID port may (in extreme circumstances) meet a timeout condition and therefore the disc c3 counter will increase. These errors are in the sum for the LLI errors.
     
    Looking at the other side of FLEX switch I see even more apparent figures

SAN6510_BXL_FAB1:admin> porterrshow
          frames      enc    crc    crc    too    too    bad    enc   disc   link   loss   loss   frjt   fbsy  c3timeout    pcs
       tx     rx      in    err    g_eof  shrt   long   eof     out   c3    fail    sync   sig                 tx    rx    err
  0:    3.1g   1.1g   0      0      0      0      0      0     30.7k   0      1      0      5      0      0      0      0      0
  1:  359.8m   1.7g  21     12     12      0      0      0    106.3k   2      1      1      9      0      0      0      0      0
  2:    4.0g 508.9m   0    988      0      0      0      0      0      0      1      0      1      0      0      0      0      0
  3:    3.2g 716.0m   0      0      0      0      0      0      0      0      0      0      1      0      0      0      0      0
  4:    1.7g   3.7g   0      0      0      0      0      0      0      1.3k   0      0      0      0      0      0      0      0
  5:    2.3g   2.3g   0      0      0      0      0      0      0     60      0      0      0      0      0      0      0      0
  6:    4.0g   1.7g   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
  7:    4.1g   1.8g   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
  8:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
  9:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 10:    4.0g 501.4m   0    797      0      0      0      0      0      0      1      0      1      0      0      0      0      0
 11:    3.2g 726.6m   0      0      0      0      0      0      0      0      0      0      1      0      0      0      0      0
 12:    2.1g   1.6g   0      0      0      0      0      0      0      0      1      0      1      0      0      0      0      0
 13:    1.6g   2.2g   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 14:    6.2m   2.6g   0      0      0      0      0      0      0      1.5k   0      0      0      0      0      0      0      0
 15:  904.7m   4.0g   0      0      0      0      0      0      0      2.1k   0      0      0      0      0      0      0      0
 16:  414.6m   2.5g   0      0      0      0      0      0      0      4.7k   0      0      0      0      0      0      0      0
 17:    1.0g   2.7g   0      0      0      0      0      0      0      4.8k   0      0      0      0      0      0      0      0
 18:    3.6g   1.6g   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 19:    4.1g   3.6g   0      0      0      0      0      0      0      1      0      0      0      0      0      0      0      0
 20:    2.1g   3.8g   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 21:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 22:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 23:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 24:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 25:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 26:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 27:    3.6g 589.3m   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 28:  329.3m 329.3m   0      0      0      0      0      0      0      4      0      0      0      0      0      0      0      0
 29:  329.3m 329.3m   0      0      0      0      0      0      0      4      0      0      0      0      0      0      0      0
 30:    5.4k   5.4k   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 31:    5.4k   5.4k   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 32:    3.1g 361.0m   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 33:  823.8m 128.2m   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 34:    1.6g  46.1m   0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 35:    3.6g 965.5m   0      0      0      0      0      0      0      0      7      0      7      0      0      0      0      0
 36:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 37:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 38:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 39:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 40:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 41:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 42:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 43:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 44:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 45:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 46:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
 47:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0      0

Broadcom Moderator
Posts: 102
Registered: ‎03-29-2010

Re: discard c3 & bottleneck alerts on ISL

I suspect you are looking in the wrong spot. The warning messages are sometimes not worded correctly. E ports are indeed being AFFECTED by latency, but are not the CAUSE of the latency. 

 

More likely is that there are slow and busy F ports which are clogging up the traffic trying to use the E port. Note that "latency" means a delay, and not a volume problem. 

 

1. Do you have any F ports which are 4Gb or even 8Gb which consume a lot of bandwidth? 

2. If there are no 4Gb or 8Gb devices in the fabric, try moving one of the storage ports to the same switch as the most busy host port, and bypass the E-port(ISL) for that traffic. 

 

Latency bottlenecks are not easy to resolve. They require careful investigation of the topology, and organization of the traffic flows. Adding buffers is not the answer, because the problem again is not load related, but delay related, where the host or storage device is not returning the R_RDY to the port in a timely way. 

 

Clear the stats on the switches using 'statsclear'. Use portstats64show <port_num> for your F ports and E ports and check for Tim_tx_cr_zero counters increasing. Again - the location of the TX credit zero is not the source of the problem, but will help you locate the device which is the cause. This is not a Brocade E-port problem, it is a slow draining device which is affecting your fabric. Much like a freeway with a line of cars backed up behind cement trucks can't be the freeway fault, but is the fault of the line of cement trucks. Find the cement trucks.

doc

Any and all information provided by me is for entertainment value and should not be relied upon as a guaranteed solution or warranty of mechantability. All systems and all networks are different and unique. If you have a concern about data loss, or network disconnection, please open a TAC service request for service through Brocade, or through your OEM equipment provider. If this provided you with a solution to this issue, Please mark it with the button at the bottom "Accept as solution".

Join the Broadcom Community

Get quick and easy access to valuable resources across the Broadcom Community Network.