분노한 단타 브레이커

◆ 개념 및 특징

• 여러 개의 물리적인 포트를 하나의 논리적인 포트로 만들어 사용하는 기술이다.

• 대역폭을 확장하여 병목 현상을 해결하고, 물리적인 포트를 다수 연결함으로써 발생하는 Loop 방지를 할 수 있다.

• 회선 다중화를 통해 하나의 링크가 Fail이 발생해도 나머지 링크를 통해 지속적인 서비스가 가능하며, Load-Balance 기능으로 효율적인 서비스가 가능함.

• LACP(Link Aggregation Control Protocol)

802.3ad Standard 프로토콜로 LAG를 동적(Dynamic)으로 설정하기 위한 제어 프로토콜이다. 네트워크 스위치 간의 Link Aggregation 정보를 교환할 수 있다. LAG 정보는 LACPDU(Link Aggregation Control Protocol Data Units)에서 패킷으로 전달되며, LACP 동작 모드를 설정하여 LACPDU의 전송 방법을 정하고, 최대 16개의(8개 Backup) 포트를 지정할 수 있다.

◆ 구성 조건

• Speed, Duplex가 동일해야 한다.

• Switch port mode가 동일해야 한다. (Access or Trunk)

• Trunk port에 Native 또는 Allowed VLAN 정보가 동일해야 한다.

• Access port에 대한 Access VLAN 구성이 동일해야 한다.

• 이더채널의 모든 포트는 SPAN(Switched Port Analyzer)이면 안 된다.

• 이더채널은 보안 설정이 되어 있는 Port는 구성 하지 않는다.

◆ 구성 조건

• Bandwidth 향상 : 여러 개의 물리적인 인터페이스를 하나의 논리적인 포트로 사용함으로써 대역폭을 늘릴 수 있다.

• High Availability (고가용성) : 동일한 포트 그룹에 속한 링크 중 어느 하나가 단절 되더라도 나머지 링크를 통해서 지속적인 서비스가 가능하다.

• Load Balancing (부하분산)

• Loop 방지

※ 가용성(high availability)과 부하분산(load balancing) 둘 다 가능하도록 2개의 link를 active-active 구성 및

- physical switch 2대를 logical switch 1대로 구성

   cisco : vPC

   juniper : VC

◆ 협상 방법

◆ LACP Parameter

ㆍfeature(HSRP) enable 해야 HSRP 설정 가능(enterprise services license 필요)

ㆍgroup number 하위에 구성(계층적)

ㆍBFD 지원(iso 미지원)

ㆍdefault HSRPv1 이며, interface 별로 HSRPv2 설정 가능

ㆍgroup 범위 : HSRPv1(0~255), HSRPv2(0~4095)

ㆍHSRP를 disable 시 HSRP 관련 전체 설정이 모두 삭제 됨

ㆍHSRPv1과 v2는 혼용해서 사용 불가(서로 다른 interface에서는 사용 가능)

ㆍsecondary ip도 primary ip로 설정 가능

ㆍ하나의 interface에 다수의 FHRP를 혼용해서 사용하는 것은 권고하지 않음

ㆍobject tracking을 지원하며, 하나의 interface에 다수의 track object 사용 가능 

ㆍHSRP가 구성되면 인터페이스에 대해 ICMP(Internet Control Message Protocol) 리디렉션 메시지가 자동으로 활성화 됨

ㆍHSRPv1을 실행시 source MAC 주소가 virtual MAC 주소이기 때문에 hello 패킷을 전송한 물리적 라우터를 식별할 수 없다.

ㆍHSRPv2는 HSRPv1과는 다른 패킷 형식을 가지고 있다. HSRPv2 패킷은 TLV(타입 길이 값) 형식을 사용하고 패킷을 전송한 물리적 라우터의 MAC 주소를 가진 6바이트 식별자 필드를 가지고 있다.

ㆍhello message v1(224.0.0.2), v2(224.0.0.102)

ㆍhello/dead interval : default 3s/10s (UDP port number 1985)

ㆍpriority : default 100

- Bundle 내의 서로 다른 링크는 서로 다른 speed를 가질 수 있으며 가장 빠른 링크는 가장 느린 링크보다 최대 4배 빠를 수 있다.

- Bundle이 유지되는 데 필요한 minimum-active links 수는 2개 이다.

LAG Basic Configuration

options

RP/0/RSP0/CPU0:PE2(config-if)# mtu 9216

RP/0/RSP0/CPU0:PE2(config-if)# bundle maximum-active links 2 

RP/0/RSP0/CPU0:PE2(config-if)# bundle minimum-active links 2

   : active 링크가 2개 미만이면 bundle down 또는 Bundle이 활성화 되는데 필요한 활성화된 링크 수

   : 번들에서 허용되는 minimum-active links 수의 범위 1~8

   : 기준 대역폭을 보장해야 하는 경우 max, min link 설정

RP/0/RSP0/CPU0:PE2(config-if)# load interval 30  -------  부하 계산 간격

RP/0/RSP0/CPU0:PE2(config-if)# bundle ?

   maximum-active    활성화할 수 있는 링크 수에 대한 제한 설정

   minimum-active     번들이 활성화되기 위한 최소 기준을 설정합니다.

   shutdown               번들의 모든 링크를 대기 상태로 만듭니다.

   wait-while               이 번들의 구성원에 대한 대기 시간 제한을 설정합니다

RP/0/RSP0/CPU0:PE2(config-if)# bundle port-priority <1~65535>

   : 번들 멤버 링크 에 대한 포트 우선 순위를 구성(기본값 32768)

RP/0/RSP0/CPU0:PE2(config-if)# bundle load-balancing hash ?

   dst-ip      대상 IP를 해시 함수로 사용

   src-ip      소스 IP를 해시 함수로 사용

show lacp  [interface]

show lacp bundle-ether : LACP 포트 및 해당 피어에 대한 자세한 정보를 표시

show lacp counters : LACP 통계 표시

show int bundle-ether [ ]
show bundle bundle-ether  [ ]

clear lacp counters

든 번들의 모든 구성원, 특정 번들의 모든 구성원 또는 특정 포트에 대한 LACP(Link Aggregation Control Protocol) 카운터를 지우려면 EXEC 모드에서 clear lacp counters 명령을 입력

clear lacp counters [ bundle { Bundle-Ether bundle-id | Bundle-POS bundle-id } | port { GigabitEthernet interface-path-id | TenGigE interface-path-id | POS interface-path-id } ]

lacp packet-capture

LACP 패킷을 캡처하려면 EXEC 모드에서 lacp packet-capture

LACP 패킷 캡처를 중지하거나 캡처된 LACP 패킷을 지우려면 EXEC 모드에서 lacp packet-capture <interface> clear | stop

기본값(no parameters)은 라인 카드의 모든 인터페이스에 대해 전역적으로 실행됨.

lacp packet-capture 명령으로 송,수신된 LACP 패킷은 show lacp packet-capture로 확인 할 수 있다. 

lacp packet-capture 명령은 해당 포트 또는 해당 번들에 대해 stop 키워드가 실행될 때까지 LACP 패킷 캡처를 계속한다.

캡처된 패킷은 해당 포트 또는 번들에 대해 clear 키워드가 발행될 때까지 저장되고 계속 표시된다.

LACP 패킷은 한 번에 라인 카드의 한 포트에 대해서만 캡처할 수 있습니다. 포트에서 패킷 캡처를 시작하면 해당 라인 카드의 다른 모든 포트에서 모든 패킷 캡처가 암시적으로 중지되고 지워진다.

인터페이스에서 LACP 패킷을 캡처

RP/0/0/CPU0:router# lacp packet-capture gigabitethernet 0/2/0/0 100

인터페이스에서 LACP 패킷을 캡처를 중지

RP/0/0/CPU0:router# lacp packet-capture gigabitethernet 0/2/0/0 stop

인터페이스에서 캡처된 모든 LACP 패킷을 지우기

RP/0/0/CPU0:router# lacp packet-capture gigabitethernet 0/2/0/0 clear

lacp period short

lacp period short [ receive interval ] [ transmit interval ]

LACP 패킷을 수신하기 위한 시간 간격(ms). 범위는 100~1000이며 100, 200, 300 등과 같이 100의 배수여야 함 (default 1000)

lacp period short 설정 시 장비 간 transmit 구성 후 receive를 구성한다. (경로 플래핑 발생 방지(경로가 지속적으로 위아래로 이동)

lacp period short 제거 시 역순으로 receive 먼저 제거 후 transmit를 제거한다.

RP/0/0/CPU0:router# config 
RP/0/0/CPU0:router(config)# interface gigabitethernet 0/1/0/0 
RP/0/0/CPU0:router(config-if)# lacp period short
RP/0/0/CPU0:router(config-if)# 
RP/0/0/CPU0:router(config-if)# interface gigabitethernet 0/1/0/0 
RP/0/0/CPU0:router(config-if)# lacp period short transmit 500 
RP/0/0/CPU0:router(config-if)# 
RP/0/0/CPU0:router(config-if)# interface gigabitethernet 0/1/0/0 
RP/0/0/CPU0:router(config-if)# lacp period short transmit 500 
RP/0/0/CPU0:router(config-if)# commit

RP/0/0/CPU0:router# config 
RP/0/0/CPU0:router(config)# interface gigabitethernet 0/1/0/0 
RP/0/0/CPU0:router(config-if)# lacp period short 
RP/0/0/CPU0:router(config-if)# 
RP/0/0/CPU0:router(config)# interface gigabitethernet 0/1/0/0 
RP/0/0/CPU0:router(config-if)# lacp period short receive 500
RP/0/0/CPU0:router(config-if)# 
RP/0/0/CPU0:router(config)# interface gigabitethernet 0/1/0/0 
RP/0/0/CPU0:router(config-if)# lacp period short receive 500 
RP/0/0/CPU0:router(config-if)# commit

show lacp io

show lacp packet-capture

lacp packet-capture

인접한 두 시스템의 forwarding plane 간에 양방향 전송을 통해서 빠르게 장애를 감지하기 위한 프로토콜이다.

지정된 간격으로 Hello packet을 주고 받으며, 지정된 시간 동안 Neighbor로 부터 Hello packet을 수신하지 못하면 장애로 판단한다.

* 인터페이스에 BFD 적용 전 인터페이스 모드에서 no ip redirects 명령 또는 no ipv6 redirects 명령을 적용

* SVI, Ethernet, Port-channel 인터페이스에서 구성할 수 있다.
* 포트 채널 인터페이스에서 실행되는 경우 BFD에는 250 * 3밀리초의 타이머 값 제한이 있다.
* 인터페이스 구성 모드에서 bfd interval 명령을 구성하면 bfd echo 모드가 기본적으로 활성화된다.

* 인터페이스 구성 모드에서 no ip redirect(BFD echo가 필요한 경우) 및 no bfd echo를 권장한다.
* BFD echo 모드를 사용하기 전에 높은 CPU 사용률을 방지하기 위해 no ip redirect 명령을 입력하여 ICMP redirect message 전송을 비활성화해야 한다

BFD를 맺고자하는 장비간에 default bfd 설정 시 두 장비 모두 next-hop이 서로를 바라보도록 디폴트 라우트 설정이 되어야 bfd 네이버를 맺고 routing table에도 Entry가 등록된다. (서로 바라보는 디폴트가 다르면 다이렉트 연결로 인해 핑은 될 수 있으나 bfd 네이버를 맺지 못하고 라우팅 테이블에 디폴트 경로도 올라오지 않는다.)

-

bfd interval 300 min_rx 300 multiplier 3
   - interval : BFD 제어 패킷이 BFD 피어로 전송되는 속도(밀리초)를 지정합니다. 범위는 50 ~ 999 (default 50)
   - min_rx : BFD 제어 패킷이 BFD 피어로부터 수신될 것으로 예상되는 속도(밀리초)를 지정합니다. 범위는 50 ~ 999 (default 50)
   - multiplier : BFD가 피어를 사용할 수 없다고 선언하고 Layer3 BFD 피어에 실패를 알리기 전에 BFD 피어에서 누락되어야 하는 연속 BFD 제어 패킷의 수를 지정한다.

                  범위는 1 ~ 50 (default 3)
   - 와이어샤크 BFD 패킷 확인 시 mix_rx는 Echo Interval 값이 되고, Multiplier는 Detect Time Multiplier가 된다.

bfd echo
   - BFD echo 모드는 인터페이스 구성 모드에서 bfd interval 명령을 사용하여 BFD를 구성한 경우 기본적으로 활성화됨.
   - 키워드 없이 no bfd echo 명령을 입력하면 에코 패킷 전송이 꺼지고, 스위치가 BFD 인접 스위치에서 수신한 에코 패킷을 전달하지 않으려는 것을 나타낸다.
   - 활성화되면 원하는 최소 에코 전송 간격과 필요한 최소 전송 간격 값은 각각 bfd interval milliseconds min_rx parameters에서 가져온다.

SVI 인터페이스에서 구성시 다음 단계를 수행

* SVI의 BFD static session은 해당 SVI에서 bfd interval [ms] min_rx [ms] Multiplier [multiplier-value] 명령이 비활성화되고 활성화된 후에만 설정

1. SVI에서 BFD 타이머를 활성화합니다.
bfd interval <milliseconds> min_rx <milliseconds> multiplier <multiplier-value>

2. 스태틱 라우트 IP 경로에 대해 BFD 활성화
ip route static bfd <interface-type interface-number ip-address>

3. SVI에서 BFD 타이머를 비활성화했다가 다시 활성화합니다.
no bfd interval <milliseconds> min_rx <milliseconds> multiplier <multiplier-value>
bfd interval <milliseconds> min_rx <milliseconds> multiplier <multiplier-value>

* 모델 : C93180YC-EX

* 기존OS : nxos.9.3.7.bin

* 변경OS : nxos.7.0.3.I7.3.bin

* 9.3.5 -----> 7.0.3.I7.3 OS 다운그레이드 시 OS install fail

 : install deactivate icam  설정 후 OS 재설치  (9.3.5 버전 부터 ICAM 기능이 활성화되어있으며 '7.'버전에서는 ICAM을 지원하지 않는다. 이로인해 다운그레이드 전 ICAM 비활성가 선행되어야 한다.)

ICAM 관련 링크

https://www.cisco.com/c/en/us/td/docs/switches/datacenter/nexus9000/sw/93x/icam/b-cisco-nexus-9000-series-nx-os-icam-configuration-guide-93x/b-cisco-nexus-9000-series-nx-os-icam-configuration-guide-93x_chapter_010.html

1. USB 장착

2. username admin password anne123!

3. copy running-config startup-config

4. dir bootflash:

    dir usb1:

5. copy usb1:<nxos.7.0.3.I7.3.bin> bootflash:

6. [선택] show file bootflash://sup-1/nxos.7.0.3.I2.1.bin sha256sum

7. [선택] show install all impact nxos bootflash:nxos.7.0.3.I7.3.bin

8. install all nxos bootflash:nxos.7.0.3.I7.3.bin

9. reload

※ 9.3.5 버전 이후 부터는 다운그레이드 시 ICAM 비활성화 한 이후 진행해주셔야 다운그레이드 가능

install deactivate icam