Fibre Channel (SAN)

Reply
Contributor
Posts: 23
Registered: ‎06-04-2004

slotstatsshow and sloterrshow interpretation

Hello all,

SAN with directors 48000. FOS 6.4.0c

We have regularly warning on ISL port :

WARNING,  Port#2/0,c3DiscardTo, is above high boundary(High=5, Low=0). Current value is 166 Error(s)/minute.

, 3968, SLOT 6 | FID 128, WARNING, Switch status changed from HEALTHY to MARGINAL.

2011/06/25-18:06:22, , 3969, SLOT 6 | FID 128, WARNING, Switch status change contributing factor Marginal ports: 1 marginal ports. (Port(s) 16(0x10))

If I check ISL port 16 (2/0), I see lot of :

  1. tim_rdy_pri             72292       Time R_RDY high priority
  2. tim_txcrd_z             37797055    Time BB credit zero (2.5Us ticks)
  3. er_tx_c3_timeout        2331        Class 3 transmit frames discarded due to timeout

This problem has impact on servers : IO timeout on disk !

We have already changed spf, fiber, checked dwdm lines but it does not solved the problem. There are two new commands slotstatsshow and sloterrshow but these commands are not documented. Can you tell me how I can interpret the output of these commands and is it of any help in debugging the problem (slow draining device, ..).

Thanks for your help.

Pierre.

porterrshow
          frames      enc    crc    crc    too    too    bad    enc   disc   link   loss   loss   frjt   fbsy
       tx     rx      in    err    g_eof  shrt   long   eof     out   c3    fail    sync   sig
     =========================================================================================================
16:    1.2g 287.4m   0      0      0      0      0      0      0    156      0      0      0      0      0
17:   20.3k   1.9k   0      0      0      0      0      0      0      0      0      0      0      0      0
18:   31.5k  31.7k   0      0      0      0      0      0      0      0      0      0      0      0      0
19:   10.7k  16.1k   0      0      0      0      0      0      0      0      0      0      0      0      0
20:   82    143      0      0      0      0      0      0      0      0      0      0      0      0      0
21:  379.2k 239.0k   0      0      0      0      0      0      0      0      0      0      0      0      0
22:  823.6k   1.1m   0      0      0      0      0      0      0      0      0      0      0      0      0
23:    2.3m   2.7m   0      0      0      0      0      0      0     25      0      0      0      0      0
24:  106.1m   3.7m   0      0      0      0      0      0      0      0      0      0      0      0      0
25:   33.8m   1.5m   0      0      0      0      0      0      0      0      0      0      0      0      0
26:  132.4k  92.5k   0      0      0      0      0      0      0      0      0      0      0      0      0
27:  347.0k 293.9k   0      0      0      0      0      0      0      0      0      0      0      0      0
28:  798.9k 319.6k   0      0      0      0      0      0      0      0      0      0      0      0      0
29:    2.0m   2.5m   0      0      0      0      0      0      0      0      0      0      0      0      0
30:    1.7k  17.1k   0      0      0      0      0      0      0      0      0      0      0    124      0
31:    2.2m   1.9m   0      0      0      0      0      0      0      0      0      0      0      0     20
48:  121.3k 128.8k   0      0      0      0      0      0      0      0      0      0      0      0      0
49:    4.7m 267.3k   0      0      0      0      0      0      0      0      0      0      0      0      0
50:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
51:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
52:  431.3k 543.7k   0      0      0      0      0      0      0      0      0      0      0      0      0
53:    1.0k   1.0k   0      0      0      0      0      0      0      0      0      0      0      0      0
54:  572    572      0      0      0      0      0      0      0      0      0      0      0      0      0
55:  269    269      0      0      0      0      0      0      0      0      0      0      0      0      0
56:   95.9m 112.6m   0      0      0      0      0      0      0      5      0      0      0      0      0
57:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
58:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
59:  385.4k 563.2k   0      0      0      0      0      0      0      0      0      0      0      0      0
60:   13.8m   8.1m   0      0      0      0      0      0      0      0      0      0      0      0      0
61:   14.5m  10.7m   0      0      0      0      0      0      0      0      0      0      0      0      0
62:  572    572      0      0      0      0      0      0      0      0      0      0      0      0      0
63:  208    208      0      0      0      0      0      0      0      0      0      0      0      0      0
64:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
65:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
66:  192    124      0      0      0      0      0      0      0      0      0      0      0      0      0
67:    3.9m  56.5m   0      0      0      0      0      0      0      0      0      0      0      0      0
68:   48.6m 211.2m   0      0      0      0      0      0      0     14      0      0      0      0      0
69:    7.4m 205.6m   0      0      0      0      0      0      0     14      0      0      0      0      0
70:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
71:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
72:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
73:   14.0m   9.0m   0      0      0      0      0      0      0      0      0      0      0      0      0
74:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
75:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
76:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
77:   14.5m   1.3m   0      0      0      0      0      0      0      0      0      0      0      0      0
78:  748.4k   4.2m   0      0      0      0      0      0      0      0      0      0      0      0      0
79:    7.9m  18.8m   0      0      0      0      0      0      0      0      0      0      0      0      0
96:  741.6k  13.1m   0      0      0      0      0      0      0      0      0      0      0      0      0
97:   19.2m 673.0k   0      0      0      0      0      0      0      0      0      0      0      0      0
98:    7.6m   8.9m   0      0      0      0      0      0      0      0      0      0      0      0      0
99:    1.5k   1.5k   0      0      0      0      0      0      0      0      0      0      0      0      0
100:    3.5m   4.0m   0      0      0      0      0      0      0      0      0      0      0      0      0
101:    1.2m   2.5m   0      0      0      0      0      0      0      0      0      0      0      0      0
102:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
103:   82.8k  75.2k   0      0      0      0      0      0      0      0      0      0      0      0      0
104:    6.9m   9.4m   0      0      0      0      0      0      0      2      0      0      0      0      0
105:    1.7m 141.8k   0      0      0      0      0      0    547.9m   0     13    759      3      0      0
106:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
107:    5.3m  10.8m   0      0      0      0      0      0      0      0      0      0      0      0      0
108:   13.7m  90.8m   0      0      0      0      0      0      0     10      0      0      0      0      3
109:    2.0m   2.5m   0      0      0      0      0      0      0      0      0      0      0      0      2
110:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
111:    1.8m   1.5m   0      0      0      0      0      0      0      0      0      0      0      1      2
144:    1.6k   1.0k   0      0      0      0      0      0      0      0      0      0      0      0      0
145:    1.1m  22.6m   0      0      0      0      0      0      0      9      0      0      0      0      0
146:    8      6      0      0      0      0      0      0      0      0      0      0      0      0      0
147:   41.5m   1.2m   0      0      0      0      0      0      0      0      0      0      0      0      0
148:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
149:   75.4m  18.2m   0      0      0      0      0      0      0     45      0      0      0      0      0
150:   15.7m   7.0m   0      0      0      0      0      0      0     28      0      0      0      0      0
151:    2.7m   1.6m   0      0      0      0      0      0      0      0      0      0      0      0      0
152:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
153:   17.4m  17.1m   0      0      0      0      0      0      0      0      0      0      0      0      0
154:  718.6k 339.4k   0      0      0      0      0      0      0      0      0      0      0      0      0
155:    1.3m   1.5m   0      0      0      0      0      0      0      0      0      0      0      0      0
156:    2.1m   3.9m   0      0      0      0      0      0      0      0      0      0      0      0      0
157:    2.0m   2.5m   0      0      0      0      0      0      0      0      0      0      0      0      9
158:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
159:    1.8m   1.5m   0      0      0      0      0      0      0      0      0      0      0      0      1
176:  269    269      0      0      0      0      0      0      0      0      0      0      0      0      0
177:    1.1m   1.8m   0      0      0      0      0      0      0      0      0      0      0      0      0
178:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
179:   20.8m  39.6m   0      0      0      0      0      0      0      0      0      0      0      0      0
180:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
181:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
182:   23.2m 754.6m   0      0      0      0      0      0      0      0      0      0      0      0      0
183:  931    465      0      0      0      0      0      0      0      0      0      0      0      0      0
184:    9.3m  28.0m   0      0      0      0      0      0      0      0      0      0      0      0      0
185:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
186:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
187:   33.9m  26.8m   0      0      0      0      0      0      0      6      0      0      0      0      0
188:    9.0m  20.7m   0      0      0      0      0      0      0      0      0      0      0      0      0
189:  827.8k 326.2k   0      0      0      0      0      0      0      0      0      0      0      0      0
190:    2.9k   2.7k   0      0      0      0      0      0      0      0      0      0      0      0      0
191:    3.7m   5.0m   0      0      0      0      0      0      0      0      0      0      0      0      0
192:  312    156      0      0      0      0      0      0      0      0      0      0      0      0      0
193:   26     52      0      0      0      0      0      0      0      0      0      0      0      0      0
194:   65.1m   2.6m   0      0      0      0      0      0      0      0      0      0      0      0      0
195:   11.8k   7.8k   0      0      0      0      0      0      0      0      0      0      0      0      0
196:    1.3m   1.1m   0      0      0      0      0      0      0      0      0      0      0      0      0
197:    9.3m 299.9k   0      0      0      0      0      0      0      0      0      0      0      0      0
198:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
199:   27.7k 174.0k   0      0      0      0      0      0      0      0      0      0      0      0      0
200:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
201:  617.9k 848.8k   0      0      0      0      0      0      0      0      0      0      0      0      0
202:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
203:   24.2k  44.3k   0      0      0      0      0      0      0      0      0      0      0      0      0
204:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
205:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
206:    5.1k  13.9k   0      0      0      0      0      0      0      0      0      0      0      0      0
207:  327.5k 827.2k   0      0      0      0      0      0      0      0      0      0      0      0      0
224:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
225:   11.0m 171.4k   0      0      0      0      0      0      0      0      0      0      0      0      0
226:  674.9k   3.0m   0      0      0      0      0      0      0      0      0      0      0      0      0
227:   17.1k  16.3k   0      0      0      0      0      0      0      0      0      0      0      0      0
228:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
229:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
230:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
231:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
232:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
233:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
234:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
235:   33.8m  26.8m   0      0      0      0      0      0      0      2      0      0      0      0      0
236:    0      0      0      0      0      0      0      0      0      0      0      0      0      0      0
237:  318.5k 365.1k   0      0      0      0      0      0      0      1      0      0      0      0      0
238:  924.7k 197.3k   0      0      0      0      0      0      0      0      0      0      0      0      0
239:    1.6k  16.8k   0      0      0      0      0      0      0      0      0      0      0    132      0
fcdir21:donypie>

slotstatsshow -c 5 -p 60


************** Poll cycle 0 ****************

Initial max_ctrs = 2560
Initial max_ctrs = 2560
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (2/0/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0       0       0      2m    399k       0   10138   29347
stat_frx                    0       0       0      1m     28m       0     14m   14673
stat_c3_frx                 0       0       0      1m     28m       0     14m   14673
stat_ftx                   1m      2m       0      1m      1m       0    702k     16m
stat_frx                   1m      3m       0      2m      1m       0    332k     16m
stat_c3_frx                1m      3m       0      2m      1m       0    332k     16m
stat_ftx                1738    340k      1m    784k     36m      2m    130k    102m
stat_frx               17188    290k      2m    313k      1m      1m   93144      3m
stat_c2_frx                0       0       0       0       0       2       0       0
stat_c3_frx            17188    290k      2m    313k      1m      1m   93144      3m
stat_lc_rx                 0       0       0       0       0       1       0       0
stat_ftx                   0     11m       0      2m       0     11m      1m       0
stat_frx                   0      7m       0      1m       0     38m     68m       0
stat_c2_frx                0       0       0       0       0       0       2       0
stat_c3_frx                0      7m       0      1m       0     38m     68m       0
stat_lc_rx                 0       0       0       0       0       0       1       0
max_ctrs = 2560


Asic CONDOR (2/1/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0       0       0     97m     36m       0      1m      5m
stat_frx                    0       0       0    323m     78m       0     14m    126m
stat_c3_frx                 0       0       0    323m     78m       0     14m    126m
stat_ftx                   2m       0    1666     72m     40m     15m       8      1m
stat_frx                   1m       0    1006     17m      1m      6m       6     21m
stat_c3_frx                1m       0    1006     17m      1m      6m       6     21m
stat_ftx                807k   10898    371k      82   20301      2m   31775   1202m
stat_frx                  1m   16409    234k     143    1978      2m   32023    276m
stat_c2_frx                0       0       0       0       0       0       0       4
stat_c3_frx               1m   16409    234k     143    1978      2m   32023    276m
stat_lc_rx                 0       0       0       0       0       0       0    4195
stat_ftx                  6m     69m       0      4m    138k       0       0       0
stat_frx                132m    372m       0    146m     35m       0       0       0
stat_c2_frx                0       3       0       1       0       0       0       0
stat_c3_frx             132m    372m       0    146m     35m       0       0       0
stat_lc_rx                 0       2       0       0       0       0       0       0
Initial max_ctrs = 2560
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (4/0/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0       0       0     46m     65m       0      1m      3m
stat_frx                    0       0       0     70m     34m       0      3m      4m
stat_c3_frx                 0       0       0     70m     34m       0      3m      4m
stat_ftx                   3m      8m      8m    814k     32m    2995       0       0
stat_frx                   4m     19m     26m    320k     25m    2744       0       0
stat_c3_frx                4m     19m     26m    320k     25m    2744       0       0
stat_ftx                 572    382k     13m     13m       0     208       0     91m
stat_frx                 572    558k     10m      7m       0     208       0    107m
stat_c3_frx              572    558k     10m      7m       0     208       0    107m
stat_ftx                   0     13m       0      1m       0     25m      2m       0
stat_frx                   0      7m       0    700k       0    929k      8m       0
stat_c3_frx                0      7m       0    700k       0    929k      8m       0
max_ctrs = 2560


Asic CONDOR (4/1/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0       0       0    293m     14m       0      5m     96m
stat_frx                    0       0       0      2m      9m       0      49    9920
stat_c3_frx                 0       0       0      2m      9m       0      49    9920
stat_ftx                  931       0     271       0     19m     22m       0      1m
stat_frx                  465       0     271       0     37m    727m       0      1m
stat_c3_frx               465       0     271       0     37m    727m       0      1m
stat_ftx                 572       0    1092    424k      4m     271       0    119k
stat_frx                 572       0    1092    536k    262k     271       0    126k
stat_c3_frx              572       0    1092    536k    262k     271       0    126k
stat_ftx                219k    243m       0    113m    5821       0       0       0
stat_frx                  4m     27m       0      3m    343k       0       0       0
stat_c3_frx               4m     27m       0      3m    343k       0       0       0
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (5/0/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                  28m       0     78m       0       0     14m       0     14m
stat_frx                 399k       0     36m       0       0      1m       0   10138
stat_c3_frx              399k       0     36m       0       0      1m       0   10138
stat_ftx                    0      9m     34m       0      49       0       0      3m
stat_frx                    0     14m     65m       0      5m       0       0      1m
stat_c3_frx                 0     14m     65m       0      5m       0       0      1m
stat_ftx                  9m      7m       0       0      1m       0       0    500k
stat_frx                 42m     11m       0       0      6m       0       0      1m
stat_c3_frx              42m     11m       0       0      6m       0       0      1m
stat_ftx                   0     11m       0       0      1m       0   95609      1m
stat_frx                   0     12m       0       0      1m       0     17m      1m
stat_c3_frx                0     12m       0       0      1m       0     17m      1m
max_ctrs = 2560


Asic CONDOR (5/1/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                   1m       0    323m       0       0    126m       0   14673
stat_frx                   2m       0     97m       0       0      5m       0   29347
stat_c2_frx                 0       0       2       0       0       0       0       0
stat_c3_frx                2m       0     97m       0       0      5m       0   29347
stat_lc_rx                  0       0       1       0       0       0       0       0
stat_ftx                    0      2m     70m       0    9920       0       0      4m
stat_frx                    0    293m     46m       0     96m       0       0      3m
stat_c3_frx                 0    293m     46m       0     96m       0       0      3m
stat_ftx                  6m     14m       0       0    116k       0       0    794k
stat_frx                 16m      8m       0       0    268k       0       0      1m
stat_c3_frx              16m      8m       0       0    268k       0       0      1m
stat_ftx                   0    213k       0       0     46m       0      2m   22778
stat_frx                   0     10m       0       0      2m       0     16m    159k
stat_c3_frx                0     10m       0       0      2m       0     16m    159k
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (6/0/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0      8m       0      1m    210k       0   13930       0
stat_frx                    0     35m       0    224m    619k       0      3m       0
stat_c3_frx                 0     35m       0    224m    619k       0      3m       0
stat_ftx                  12m       0       0      7m       0      2m     148       0
stat_frx                   6m       0       0   58496       0      3m    628k       0
stat_c3_frx                6m       0       0   58496       0      3m    628k       0
stat_ftx                   0       0    132m     68m       0     35m     38m       0
stat_frx                   0       0      6m      1m       0    137k     11m       0
stat_c2_frx                0       0       2       0       0       0       0       0
stat_c3_frx                0       0      6m      1m       0    137k     11m       0
stat_lc_rx                 0       0       1       0       0       0       0       0
stat_ftx                  4m       0      8m    343k       0    929k       0       0
stat_frx                219k       0      2m    5821       0     25m       0       0
stat_c3_frx             219k       0      2m    5821       0     25m       0       0
max_ctrs = 2560


Asic CONDOR (6/1/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0     28m       0    156k      7m       0      1m       0
stat_frx                    0      7m       0     56m      1m       0    200k       0
stat_c3_frx                 0      7m       0     56m      1m       0    200k       0
stat_ftx                   7m       0       0    598k       0      7m    111k       0
stat_frx                 587k       0       0   31524       0      8m     83m       0
stat_c2_frx                 0       0       0       0       0       0       2       0
stat_c3_frx              587k       0       0   31524       0      8m     83m       0
stat_lc_rx                  0       0       0       0       0       0       1       0
stat_ftx                   0       0    372m      7m       0    146m      1m       0
stat_frx                   0       0     69m     11m       0      4m      2m       0
stat_c2_frx                0       0       0       2       0       0       0       0
stat_c3_frx                0       0     69m     11m       0      4m      2m       0
stat_lc_rx                 0       0       0       1       0       0       0       0
stat_ftx                 27m       0      7m      3m       0    700k       0       0
stat_frx                243m       0     13m    113m       0      1m       0       0
stat_c3_frx             243m       0     13m    113m       0      1m       0       0
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (7/0/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0       0       0      8m     11m       0      1m      1m
stat_frx                    0       0       0     14m      7m       0    500k    794k
stat_c3_frx                 0       0       0     14m      7m       0    500k    794k
stat_ftx                 321k       0       0       0   24405    5166       0    614k
stat_frx                 813k       0       0       0   44612   14002       0    832k
stat_c3_frx              813k       0       0       0   44612   14002       0    832k
stat_ftx                735k       0     15m       0     13m      7m       0       0
stat_frx                  4m       0      1m       0      8m     18m       0       0
stat_c3_frx               4m       0      1m       0      8m     18m       0       0
stat_ftx                   0      1m       0    200k       0      3m    619k       0
stat_frx                   0      7m       0      1m       0   13930    210k       0
stat_c3_frx                0      7m       0      1m       0   13930    210k       0
max_ctrs = 2560


Asic CONDOR (7/1/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0       0       0     16m     42m       0      6m    268k
stat_frx                    0       0       0      6m      9m       0      1m    116k
stat_c3_frx                 0       0       0      6m      9m       0      1m    116k
stat_ftx                27862      1m     312      8m   11842       0     62m      26
stat_frx                 170k      1m     156    293k    7905       0      2m      52
stat_c3_frx              170k      1m     156    293k    7905       0      2m      52
stat_ftx                   0      3m      7m     46m       0       0     192       0
stat_frx                   0     60m    196m    203m       0       0     124       0
stat_c3_frx                0     60m    196m    203m       0       0     124       0
stat_ftx                224m     56m       0      7m     35m       0       0       0
stat_frx                  1m    156k       0     28m      8m       0       0       0
stat_c3_frx               1m    156k       0     28m      8m       0       0       0
Initial max_ctrs = 2560
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (9/0/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0       0       0     16m     17m       0      1m      2m
stat_frx                    0       0       0      2m   95609       0      1m     46m
stat_c2_frx                 0       0       0       0       0       0       0       2
stat_c3_frx                 0       0       0      2m   95609       0      1m     46m
stat_lc_rx                  0       0       0       0       0       0       0       1
stat_ftx                 1677       0       0    313k     32m    903k       0       0
stat_frx                16842       0       0    358k     25m    193k       0       0
stat_c3_frx             16842       0       0    358k     25m    193k       0       0
stat_ftx                   0      5m      1m     13m      1m      1m       0      6m
stat_frx                   0     10m      2m     87m    138k      1m       0      9m
stat_c2_frx                0       0       0       2       0       0       0       0
stat_c3_frx                0     10m      2m     87m    138k      1m       0      9m
stat_lc_rx                 0       0       0       1       0       0       0       0
stat_ftx                   0     83m       0      8m       0      3m    628k       0
stat_frx                   0    111k       0      7m       0      2m     148       0
stat_c3_frx                0    111k       0      7m       0      2m     148       0
max_ctrs = 2560


Asic CONDOR (9/1/0), Port Group(0/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
stat_ftx                    0       0       0     10m     12m       0      1m    159k
stat_frx                    0       0       0    213k     11m       0      1m   22778
stat_c3_frx                 0       0       0    213k     11m       0      1m   22778
stat_ftx                    0       0       0       0   17383       0    661k     10m
stat_frx                    0       0       0       0   16555       0      2m    168k
stat_c3_frx                 0       0       0       0   16555       0      2m    168k
stat_ftx                   0    1560      1m      3m     18m   83339      7m    726k
stat_frx                   0    1560      2m      3m    657k   75674      8m     12m
stat_c3_frx                0    1560      2m      3m    657k   75674      8m     12m
stat_lc_rx                 0       0       0       0       0       0       0     782
stat_ftx                  6m    587k       0   31524   58496       0       0       0
stat_frx                 12m      7m       0    598k      7m       0       0       0
stat_c3_frx              12m      7m       0    598k      7m       0       0       0
Initial max_ctrs = 2560


sloterrshow -c 5 -v -p 60


************** Poll cycle 0 ****************

polling slot 0...
Initial max_ctrs = 2560
poll slot 0 failed
polling slot 1...
Initial max_ctrs = 2560
poll slot 1 failed
polling slot 2...
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (2/0/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
bbc_trc0                  *63      *3     200     *63      *1       0      64      41
bbc_trc0                 *63       3      64       8      16     *63       3      16
sw_fwd_other_err           0       0       0       1       0       0       0       0
max_ctrs = 2560


Asic CONDOR (2/1/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
er_c3_timeout               0       0       0      27      28       0      29      28
sw_fwd_timeout              0       0       0      25      26       0       0       0
bbc_trc0                    3      64      *3       3       3       3       3      *4
er_c3_timeout               0       0       0      30       0      20       0       5
sw_fwd_timeout              0       0       0      23       0      14       0       4
bbc_trc0                   3      64       3      64      61       3      16    *249
bbc_trc2                   0       0       0       0       0       0       0      *0
bbc_trc3                   0       0       0       0       0       0       0      *0
bbc_trc4                   0       0       0       0       0       0       0      *0
bbc_trc5                   0       0       0       0       0       0       0      *0
bbc_trc6                   0       0       0       0       0       0       0      *0
bbc_trc7                   0       0       0       0       0       0       0      *0
tim_rdy_pri                0       0       0       0       0       0       0   29251
er_c3_timeout              0       0       0       0       0      17       0       0
sw_fwd_timeout             0       0       0       0       0      11       0       0
er_c3_timeout             28      29       0      32      31       0       0       0
sw_fwd_timeout            26      27       0       0       0       0       0       0
polling slot 3...
Initial max_ctrs = 2560
poll slot 3 failed
polling slot 4...
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (4/0/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
bbc_trc0                    3       3     *63     *63       3       3       4       1
er_c3_timeout               0       0       0       0       6       0       0       0
sw_fwd_timeout              0       0       0       0       6       0       0       0
bbc_trc0                   3      *3     200     *63       0      *3       4     *62
er_c3_timeout              0       0       0       0       0       0       0       5
sw_fwd_timeout             0       0       0       0       0       0       0       5
max_ctrs = 2560


Asic CONDOR (4/1/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
bbc_trc0                    3      *3       3       3       3       3       0       3
bal_busy_buf                1       1       1       1       1       2       1       1
bbc_trc0                   3       4      *3      *3      41       3       0       3
polling slot 5...
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (5/0/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
bbc_trc12                  -4       0       1       0       0       1       0      -4
er_c3_timeout               0       0      42       0       0       0       0      42
sw_fwd_timeout              0       0      42       0       0       0       0       0
er_c3_timeout              0       5       0       0       0       0       0       5
sw_fwd_timeout             0       5       0       0       0       0       0       0
er_c3_timeout              0      10       0       0       2       0       2      10
sw_fwd_timeout             0      10       0       0       2       0       0       0
max_ctrs = 2560


Asic CONDOR (5/1/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
er_c3_timeout               6       0       0       0       0       0       0       6
sw_fwd_timeout              6       0       0       0       0       0       0       0
er_c3_timeout               0      10      39       0      10       0       0      39
sw_fwd_timeout              0      10      39       0       0       0       0       0
er_c3_timeout              0       8       0       0      30       0      30       8
sw_fwd_timeout             0       8       0       0      30       0       0       0
polling slot 6...
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (6/0/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
bal_busy_buf                0       1       0       2       1       0       1       0
er_c3_timeout               0      38       0      38       0       0       0       0
sw_fwd_timeout              0       0       0      38       0       0       0       0
er_c3_timeout               0       0       0       0       0      10      10       0
sw_fwd_timeout              0       0       0       0       0      10       0       0
bbc_trc15                  0       0       1       1       0       1      -2       0
er_c3_timeout              0       0       0       1       0       0       1       0
sw_fwd_timeout             0       0       0       1       0       0       0       0
er_c3_timeout              0       0       9       0       0       9       0       0
sw_fwd_timeout             0       0       9       0       0       0       0       0
max_ctrs = 2560


Asic CONDOR (6/1/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
er_c3_timeout               0      22       0      22       0       0       0       0
sw_fwd_timeout              0       0       0      22       0       0       0       0
er_c3_timeout               1       0       0       1       0      58      58       0
sw_fwd_timeout              1       0       0       0       0      58       0       0
er_c3_timeout              0       0       0       5       0       0       5       0
sw_fwd_timeout             0       0       0       5       0       0       0       0
er_c3_timeout              0       0      15       0       0      15       0       0
sw_fwd_timeout             0       0      15       0       0       0       0       0
polling slot 7...
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (7/0/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
bbc_trc0                   *3       3       0       3       3       3       3       3
bbc_trc0                  41       0       3       0     200      *3      41       0
max_ctrs = 2560


Asic CONDOR (7/1/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
bbc_trc0                    3       3       3       3       3       0       3      *4
bbc_trc0                   0     200     200     200       0      *3       3       0
bal_busy_buf               0       2       1       1       0       1       1       1
er_c3_timeout              0       0      14      14       0       0       0       0
sw_fwd_timeout             0       0      14      14       0       0       0       0
bbc_trc11                 -1       1       0       1       1       0       0       0
polling slot 8...
Initial max_ctrs = 2560
poll slot 8 failed
polling slot 9...
Initial max_ctrs = 2560
max_ctrs = 2560


Asic CONDOR (9/0/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
bbc_trc0                  *63       0       0      *8       3      41       3       0
er_c3_timeout               0       0       0       1       2       0       0       0
sw_fwd_timeout              0       0       0       1       2       0       0       0
bbc_trc0                  61      *3      64    *200      16     *63       3     *63
er_enc_out                 0       0       0       0    522m       0       0       0
er_c3_timeout              0       0       0      10       0       0       0       2
sw_fwd_timeout             0       0       0      10       0       0       0       2
max_ctrs = 2560


Asic CONDOR (9/1/0), Port Group(1/0): FC,  Poll# 0.
Counters                       0       1       2       3       4       5       6       7
========================================================================================
bbc_trc0                    0       0       0       0       3       0       8       3
bbc_trc0                   0       3      *3      *1       3      *3       3    *249
bbc_trc2                   0       0       0       0       0       0       0      *0
bbc_trc3                   0       0       0       0       0       0       0      *0
bbc_trc4                   0       0       0       0       0       0       0      *0
bbc_trc5                   0       0       0       0       0       0       0      *0
bbc_trc6                   0       0       0       0       0       0       0      *0
bbc_trc7                   0       0       0       0       0       0       0      *0
tim_rdy_pri                0       0       0       0       0       0       0       2
polling slot 10...
Initial max_ctrs = 2560
poll slot 10 failed

External Moderator
Posts: 4,985
Registered: ‎02-23-2004

Re: slotstatsshow and sloterrshow interpretation

See below, show also for Defective SFP.

Provide to replace, and continued to Monitor, if the Issue is Continued, open a Call by Brocade or they OEM Carrier.

FW-1436

Message <timestamp>, , <sequence-number>,, WARNING, <system-name>, Switch status change contributing factor Marginal ports: <Number of marginal ports> marginal out of <Total number of ports> ports:config(<Percentage configured> percent,<Actual
threshold limit>). (Port(s) <port list>)
Probable Cause Indicates that the switch is not in a healthy state. This occurred because the number of marginal ports are greater than or equal to the policy set using the switchStatusPolicySet command.

A portis faulty when the port value for Link Loss, Synchronization Loss, Signal Loss, Invalid word, Protocol error, CRC error, Port state change, or Buffer Limited Port is above the high boundary.

Recommended Action

Replace the faulty or deteriorating small form-factor pluggable (SFP). Execute the fwportdetailshow
command to know the reason for marginal ports.
Severity WARNING

TechHelp24
External Moderator
Posts: 4,985
Registered: ‎02-23-2004

Re: slotstatsshow and sloterrshow interpretation

Pierre,

--->>> We have already changed spf, fiber, checked dwdm lines but it does not solved the problem.

I just note theay have replaced SFP and apparently that not solve the problem.

I would procede as follow:

can you try to reset the Port to default ? Please note, that caused Traffic Interruption, and in some case your have to configure the Port now.

Another Q.:

1) are other error in errorshow listed ?

2) Is the error reported only on One or more Port in same Blade ?

TechHelp24
Contributor
Posts: 23
Registered: ‎06-04-2004

Re: slotstatsshow and sloterrshow interpretation

Thanks for your answer. The state of port 16 ISL is healthy :


                             --------Port-Errors------------ -----SFP-Errors----
Port# Type  State   Dur(H:M) LFA LSY LSI PER INW CRC PSC LR BLP STM SRX STX SCU SVO
--------------------------------------------------------------------------------
016      E  HEALTHY   000:28   -   -   -   -   -   -   -   -   -   -   -   -   -

Usually, warning are issued in log for ISL port 16 but sometimes also for storage port. Strangely, we have errors on ISL 16 on both fabric what makes me say that it must come from a device with two hba (multipath). The fact that we have huge numbers for :

tim_rdy_pri             83126       Time R_RDY high priority
tim_txcrd_z             40536830    Time BB credit zero (2.5Us ticks)

comes to the "slow draining device" track. The question is : can we use slotstatsshow and sloterrshow to find this device ?

In any case, it is a very complicated issue, never seen such problem in 10 years SAN admin  ....

Thanks.

Pierre.

External Moderator
Posts: 4,985
Registered: ‎02-23-2004

Re: slotstatsshow and sloterrshow interpretation

--->>> ....what makes me say that it must come from a device with two hba (multipath).

have they check Driver and Firmware ?

is multipath correct configured? probable caused MP the problem.

TechHelp24
Contributor
Posts: 23
Registered: ‎06-04-2004

Re: slotstatsshow and sloterrshow interpretation

Ok but the problem is : how to locate the mis-configured host ?

Thanks.

Pierre.

External Moderator
Posts: 4,985
Registered: ‎02-23-2004

Re: slotstatsshow and sloterrshow interpretation

Pierre,

have you tried with SAN Health ?

The Tools is designed to Explorer/Escalation such Error.

TechHelp24
Super Contributor
Posts: 635
Registered: ‎04-12-2010

Re: slotstatsshow and sloterrshow interpretation

Hello Pierre,

did you fix your issue?

if yes ignore my post. Do you have extended fabric license on your switch?

You can do a quick workaround to your issue in three ways.

1.) adding more ISLs

2.) increasing the amount of buffers on that ISL (both ends of the line) there for you need extended fabric lincese

3.) Just using the command portcfglongdistance with the LE option. This will change the buffer usage on the ISL but will not increase the number of buffers.

In my case the last option had limited the numbers of discards.

This gave me time to find the devices.

I hope this helps,

Andreas

Contributor
Posts: 23
Registered: ‎06-04-2004

Re: slotstatsshow and sloterrshow interpretation

Hi Andreas,

Thanks for your answer. No, unfortunately the issue is not yet fixed. To limit the problem, we've taken the same way : add ISL. 

Concerning the amount of buffer, we have specified 125 km and the real distance is only 23 km, so it must be ok. I've specified LS for the portcfglongdistance (seems that LE is for distance up to 10 km).

Can you tell me how you've found the "slow draining devices" ?

Thanks.

Kind regards,

Pierre.

Super Contributor
Posts: 635
Registered: ‎04-12-2010

Re: slotstatsshow and sloterrshow interpretation

Pierre,

LE Mode is for ISLs upto 10KM if you have no Extended Fabric License on the switch but the buffer are allocated in a different way.

&quot;Slow draining device&quot; is very difficult to find.

Watch out for Discards on storage and server ports.Collect from all ports the counter where buffer Credit time zero is very high.

These ports should be checked in more detailed. Check the LUN queue depth (reduce it on the server) and check the zoned storage ports if these ports are overloaded.

Reduce the load on the affected / zoned storage ports.

The difficult part is to collect the values if you have no scripts to create these reports.

Work with bottleneckmon on the SAN switch (FOS 6.4 support bottleneckmon). Currently I havn't worked with this command very often.

Check if you have zones where 1Gbit ports are talking to 4Gbit ports and if you can see a high rate of buffer credit zero values.
If possible eliminate such a configuration.

If you have more than one switch in your fabric you can change the fabric edge hode time value on specific switches. Depending on your topology this can help to get a better picture.

 

Good luck,

Andreas

Join the Community

Get quick and easy access to valuable resource designed to help you manage your Brocade Network.

Click to Register
Download FREE NVMe eBook