Model : C3850-48T / 4*1G/10G ( IOS 3.6.5E )
이슈 : Output Drop issue
Interface output errors
해당 구간의 재전송 패킷발생 ( Wireshark ) 확인
======================================================
각 장비별 Error, drop 확인
1. show int counters errors
Xmit-Err, OutDiscards 카운터 증가
2. show platform qos queue stats gig 1/1/1
Drop counter 확인
3. Queue Drop 해결방안 :
3850 platform에서는 Hardmax / Softmax buffer queue
전체 Buffer pool 중에 Hardmax = 고정할당, Softmax = 쉐어할당
Default value로 100이 설정 되어 있으며, 최대 1200까지 설정하여 Softmax Queue를 추가 할당 하여 해결
(적용 컨피그 : qos queue-softmax-multiplier 1200)
1GB의 기본 버퍼 할당은 300 버퍼 이고, (1Buffer * 256byte) 문서상 400% 약 1200버퍼 까지 사용 할 수 있게 나와 있습니다. 10GB의 기본 버퍼 할당은 1800 버퍼 입니다.
적용시 유의사항 : 쉐어로 사용 할 수 있는 Softmax pool을 당겨서 특정 인터페이스에 고정하면,
여타 다른 포트의 Bursty Traffic 처리가 어려워 질 수 있습니다.
[출처] C3850 Troubleshooting High output drop / Output error (네트워크 전문가 따라잡기 (IT 인프라)) | 작성자 시바문
Catalyst 3850: Troubleshooting Output drops
The document will help to provide an understanding of the queue structure and buffers on the Catalyst 3650/3850 platform. It also provides example on
www.cisco.com
*** 에러의 종류와 원인
Align-Err FCS-Err Xmit-Err Rcv-Err... 등 많은 에러 정보들이 있다.
각각의 의미는 아래와 같다.
Align-Err
Description(서술): 이 에러는 받은 패킷들이 헤더에 명료 된 사이즈보다 길 때 또는 CRC 체크가 실패할 때 나타납니다.
Common Causes(원인): 이 증상은 듀플렉스가 맞지 않을 때 또는 캐이블, 랜카드 그리고 접속된 포트가 이상 시 발생합니다. 스위치 디바이스에 랜포트를 연결 시 나타날 수 있으며 또 다른 가능성으로 허브에 연결 시 충돌이 발생하는데 그 이유로 발생할 수 있습니다.
babbles
Description: Cisco IOS sh interfaces counter.
이 에러는 1518 octets보다 긴 패킷을 보낼 때 전송 실패 시 나타납니다. 증상이유는 alignment 에러로 발생할 수 있으며 FCS 에러로도 발생할 수 있습니다.
Carri-Sen
Description: CatOS sh port and Cisco IOS sh interfaces counters errors.
CSMA/CD의 개념이 이곳에 적용됩니다. 이 counter의 증가는 매번 하프 듀플렉스 연결을 통해 데이터를 보낼 때 발생합니다.
collisions
Descriptions: Cisco IOS sh interfaces counter.
프레임을 전송하기 전에 충돌이 발생한 수를 나타냅니다.
Common Causes:
일반적으로 half 듀플렉스 모드에서 발생하며 풀 듀플렉스 모드에서는 볼 수가 없다네요. 만약 충돌 횟수가 눈부시게 증가할 경우에는 접속된 링크가 열라 바쁘거나 아님 듀플렉스 모드에 이상이 있을 수 있다네요…
참고로 하프 듀플렉스는 원 웨이를 말하며 풀 듀플렉스는 2차선 도로를 말합니다.
CRC
Description: Cisco IOS sh interfaces counter.
1층에서 점검 시, 랜 전송 구간에서 발생하며 또는 받는 쪽 장비에서 해석하지 못할 시에도 발생합니다.
Common Causes: 이 증상은 일반적으로 1층 구간의 노이즈나 전송구간에서 발생합니다. CRC의 증가는 충돌이 발생해서 생길 수 있으며 물리적인 문제로 발생될 수 있습니다. 이를 해결하는 방법은 구간 구간마다 루프 테스트를 통해 확인합니다.
deferred
Description: Cisco IOS sh interfaces counter.
이 필드는 하프 듀플렉스 모드에서 발생하며 프레임이 전송되긴 하나 늦게 보낸 수를 나타냅니다. 이유는 라인이 바빠서 생깁니다.
input packets with dribble condition
Description: Cisco IOS sh interfaces counter.
이 드리블 에러는 프레임이 얇고 길어서 발생한다고 합니다.
Common Causes: 이 프레임 에러는 스위치가 프레임을 받은 수를 나타냅니다. (에러로 표현하기엔 조금 이상하네요)
Excess-Col
Description: CatOS sh port and Cisco IOS sh interfaces counters errors.
이 프레임의 수는 최초 충돌 발생 후 재 시도 횟수가 16번 이상이 되면 패킷을 버리게 되는데 그 수를 나타냅니다.
Common Causes: 이 에러는 전형적으로 하프 듀플렉스 모드 사용 시 라인이 바쁘기 때문인데 해서 세그먼트를 쪼개는 필요함을 나타내고 또는 듀플렉스가 맞지 않을 때도 발생합니다. 풀 듀플렉스에서는 볼 수가 없습니다.
FCS-Err
Description: 이 에러는 프레임을 받은 후 프레임을 FCS와 같이 맞추어 볼 때 발생합니다. 해서 발생지에서는 발생하지 않습니다.
Common Causes: 이 에러는 물리적인 구간에서 발생하거나 듀플렉스가 맞지 않을 때 발생합니다.
frame
Description: Cisco IOS sh interfaces counter.
이 패킷의 수는 CRC에러와 Alignment 에러와 같이하며 옳지 못한 패킷을 받았을 때 발생합니다.
Common Causes: 이 에러는 물리적인 구간에서 발생하거나 듀플렉스가 맞지 않을 때 발생합니다.
Giants
Description: CatOS sh port and Cisco IOS sh interfaces and sh interfaces counters errors.
이더넷 상황에서 IEEE802.3 프레임 사이즈는 최소 64바이트에서 1518 바이트를 사용할 수 있는데 이 프레임이 과잉 되고 FCS의 처리가 불가할 때 나타납니다.
Common Causes: 이 증상은 많은 부분에서 NIC의 문제이며 짜증나게 하는 이 장비를 네트워크에서 찾고 버립니다.
Platform Exceptions:
Catalyst Cat4000 Series running Cisco IOS
12.9 버전에서는 giants의 수가 1518 바이트보다 클 경우 발생했으나, 12.1 이후부터는 바이트보다 클 경우, 그리고 FCS를 처리 할 수 없을 경우 함께하여 나타냅니다.
ignored
Description: Cisco IOS sh interfaces counter.
물리적인 인터페이스가 가진 버퍼가 수용할 수 있는 패킷 수를 넘을 시 버려지게 됩니다.
Common Causes: 이유는 브로드케스트 스톰과 라인 노이즈로 인해 버려지는 수가 증가할 수 있습니다.
Input errors
Description: Cisco IOS sh interfaces counter.
Common Causes: 이 에러는 runts, giants, no buffer, CRC, Frame overrun 과 여러 다른 이유로 발생된 에러들을 총괄하여 나타냅니다. 하지만 상위 레이어에서 발생되는 에러들은 카운트에서 제외 됩니다.
Late-Col
Description: CatOS sh port and Cisco IOS sh interfaces and sh interfaces counters errors.
충돌이 발생한 인터페이스에는 이 값이 나타납니다. 10Mbit/s 구간에서 패킷 전송을 하는 과정 중 필요시간이 512 bit-times(51.2 microseconds) 초과된 패킷 수를 나타냅니다.
Common Causes: 이 에러는 듀플렉스가 맞지 않을 경우 발생될 수 있습니다. 역시 하프 듀플렉스 모드에서 발생되며 케이블과 세그먼트가 너무 긴 경우 발생됩니다. 풀 듀플렉스 모드에서는 볼 수 없습니다.
lost carrier
Description: Cisco IOS sh interfaces counter.
전송 중 패킷이 없어졌을 때 발생합니다.
Common Causes: 캐이블 점검 및 장비의 인터페이스를 양쪽에서 점검.
Multi-Col
Description: CatOS sh port and Cisco IOS sh interfaces counters errors.이 에러는 프레임 전송 중 다수의 충돌이 발생된 것을 나타냅니다.
Common Causes: 약간의 충돌은 정상적이다. 그러나 충돌 발생 비율이 4~5%씩 증가하면 장비의 장애 유무를 확인하거나, 새로운 세그먼트를 만들어 사용자를 나누는 것이 필요.
no buffer
Description: 패킷이 버려진 것을 나타내며 이유는 장비내의 버퍼 공간이 없기 때문입니다.
Common Causes: Ignored 숫자와 비교해 보세요. 가끔 브로드케스트 스톰이 이 증상의 이유가 됩니다.
no carrier
Description: Cisco IOS sh interfaces counter.
전송되는 동안 carrier가 제공되지 안된 수를 나타냅니다.
Common Causes:
케이블 점검 및 장비의 인터페이스를 양쪽에서 점검.
Out-Discard
Description:
에러가 발생되지 않았으나 패킷 전송에 필요한 버퍼가 모자랄 경우 발생됩니다.
output buffer failures output buffers swapped out
Description: Cisco IOS sh interfaces counter.
Common Causes:
1기가 멀티캐스트 스티림을 100Mbps로 이루이진 24포트 장비를 통해 다수의 클라이언트에게 전송 시 일반적으로 나타나며 숫자들은 이것을 나타냅니다.
overrun
Description: 이 에러는 들어온 패킷을 receiver가 처리할 수 없을 시 나타납니다.
Common Cause:
트래픽이 receiver의 처리용량을 초과 할 경우 발생
packets input/output
Description: 정상적인 패킷이 전송되고 받은 수를 나타냅니다. 이 숫자를 모니터링함으로써 트래픽이 인터페이스를 통해 적절히 흐르는 지를 볼 때 유용한 하다고 하네요.
Rcv-Err
Description: CatOS show port or show port counters and Cisco IOS (for the Catalyst 6000 Series only) sh interfaces counters error
Common Causes: See Platform Exceptions below.
Platform Exceptions:
Catalyst 5000 Series
버퍼 실패가 나타나는 이유는 과잉된 트래픽의 결과로 증가할 수 있으며 Runt와 Giant그리고 FCS-err과는 관계되지 않습니다.
On Catalyst 4000 Series
카탈리스트 5000과 비교하면 이 애러는 Runt, Giant 그리고 FCS-Err을 포함합니다.
Runts
Description: CatOS sh port and Cisco IOS sh interfaces and sh interfaces counters errors
이 에러는 받은 프레임의 CRC가 좋지 않고 또한 IEEE 802.3프레임 사이즈 보다 작을 경우 발생합니다.
Common Causes: 듀플렉스가 맞지 않거나 물리적인 문제입니다. 이를테면 케이블 불량 및 포트 또는 인터페이스카드의 불량에서 나타납니다.
Platform Exceptions:
Catalyst 4000 Series running Cisco IOS
12.1 버전에서 런츠는 언더사이즈였으며 이것은 64 바이트보다 작을 때 나타냅니다. 그 후의 버전 12.1에서는 런츠는 Fragment입니다. Fragment가 64byte보다 작고 나쁜 CRC값을 가졌음을
Single-Col
Description: CatOS sh port and Cisco IOS sh interfaces counters errors.
이 에러는 프레임이 인터페이스를 통해 전송되기 전 발생된 충돌을 나타냅니다.
Common Causes: 일반적으로 half 듀플렉스 모드에서 발생하며 풀 듀플렉스 모드에서는 볼 수가 없습니다. 만약 충돌 횟수가 눈에 확 띄게 증가할 경우에는 접속된 링크가 몹시 바쁘거나 아님 듀플렉스 모드에 이상이 있을 수 있습니다.
underruns
Description:
송신장치가, 스위치가 감당하지 못할 만큼 빠르게 동작할 경우 발생합니다.
Common Causes:
이 증상은 높은 전송률을 나타내는 구간에서, 한 순간 하나의 인터페이스에 다수의 다른 인터페이스가 몰릴 경우 발생합니다. 언더런은 인터페이스 리셋을 가져 옵니다.
Undersize
Description: CatOS sh port and Cisco IOS sh interfaces counters errors
우리가 잘 알고 있는 것과는 달리 받은 프레임이 IEEE 802.3말하는 최소 64 바이트 보다 작을 때 발생(Framing bit는 포함되지 않고 FCS 옥택은 포함)
Common Causes:
이 프레임이 보내진 장비 점검.
Xmit-Err
Description: CatOS sh port and Cisco IOS sh interfaces counters errors
버퍼가 가득 찼을 때 발생됨.
Common Causes: 일반적으로 Xmit-Err은 높은 값을 갖는 밴드위드에서 작은 값을 갖는 밴드위드로 나갈 때 또는 하나의 출구에 다수의 트래픽이 몰릴 경우 발생합니다. 예를 들면, 만약 1기가 밴드위드로부터 다량의 데이터가 100Mbps의 포트로 몰린다면 이것은 Xmit-Err의 수를 증가시킵니다. 들어오는 입구와 출구의 밴드위드가 다를 경우 많은 량의 데이터가 Output 버퍼를 압도할 경우가 이에 해당합니다.
[출처] err 카운터 설명|작성자 미쳐보자
인생은 웃고울고또웃네 ~ ♪ ♪ ♪ ~ ♬ : 네이버 블로그
시작하면 끝내야지..ㅋ I can fly
blog.naver.com
참조링크
원인분석
관리되고 있는 장비는 C6500이다. C6500의 rcv-err 관련 내용은 아래 글을 읽어보자
https://supportforums.cisco.com/thread/186074
아래 링크는 시스코 인터페이스 관리에 대한 문서이다.
http://www.cisco.com/en/US/products/hw/switches/ps708/products_tech_note09186a00800a7af0.shtml
Rcv-Err 에러에 대한 원인은 아래와 같이 나와 있다.
This is an indication of excessive output rates of traffic. This is also an indication that the receive buffer is full. This counter must be zero unless there is excessive traffic through the switch. In some switches, the Out-Lost counter has a direct correlation to the Rcv-Err.
해석해보면 수신버퍼의 가득차서 생긴에러라고 나온다.
시스코 버퍼관련 문서를 아래 링크를 참조 바란다.
http://www.cisco.com/en/US/products/hw/routers/ps133/products_tech_note09186a00800a7b80.shtml
[출처] err 카운터 설명|작성자 미쳐보자
'Tech > NETWORK(Routing, L4)' 카테고리의 다른 글
| Longest Match Routing Rule (0) | 2022.08.31 |
|---|---|
| Cisco IOS LACP & NX-OS LACP (0) | 2021.10.01 |
| Cisco Nexus 9000 Series NX-OS Interfaces Configuration Guide (0) | 2021.09.02 |
| IXIA PerfectStorm BreakingPoint (0) | 2020.12.02 |
| Access-List (0) | 2019.09.30 |
