Nangman Infra
Operations / Incident Reports

장애 이력 및 포스트모텀

인증·인프라 장애의 원인, 기술 근거, 재발 방지 조치를 기록합니다.

INC-20261026-PHP-001SEV-3해결됨

PHP2Shell(CVE-2026-109618/109619) 취약점 대응 (Zabbix 웹 PHP 패치)

Zabbix 웹 프론트엔드가 취약한 PHP-FPM 8.5.10으로 약 5일간 운영되었습니다. 앞단 NLB는 internal 체계여서 인터넷에서 직접 접근할 수는 없었지만 VPC 내부와 VPN 경로로는 접근할 수 있었습니다. 악용 흔적은 확인되지 않았고 서비스 중단은 없었습니다. 조치 과정에서 HA가 비활성화된 Zabbix Server를 동시 실행 없이 교체하기 위해 기존 태스크를 먼저 종료했고, 기존 태스크 중지(17:23)부터 새 태스크 시작(17:30)까지 약 7분의 수집 공백이 발생했습니다. 이 기간의 데이터는 Proxy와 Agent에 버퍼링된 뒤 재전송되었습니다. Zabbix 웹은 상태가 없고 태스크가 2개여서 기본 롤링 배포로 중단 없이 교체했습니다.

기간

2026-10-21 KST (PHP 패치 공개, 취약 자산 노출 시작)

2026-10-26 KST (Zabbix 웹 패치 이미지 교체 완료)

영향 서비스

AWS ECS Fargate의 Zabbix 웹 프론트엔드(취약한 PHP 8.5.10 포함). 온프레미스 서버 24대와 OPNsense는 영향 없음. 조치 과정에서 Zabbix Server 수집 약 7분 공백

담당자

리포터: 정택준 / 작업자: 정택준

포스트모텀 상세 보기
INC-20261016-TELEPORT-001SEV-3해결됨

Teleport 경유 Outline(docs) 접속 장애 (앱 에이전트의 구 IP 참조)

Teleport 앱 에이전트가 더 이상 존재하지 않는 주소(.83:3000)로 Outline에 접속을 시도해 응답을 받지 못했습니다. 연결 거부가 아니라 timeout으로 나타나 네트워크 장애처럼 보였지만, 화곡 서버의 Outline, Redis, Postgres 컨테이너와 Docker 포트 규칙은 모두 정상이었습니다. 복구 과정에서 Auth/Proxy 서버를 잘못 재시작해 다른 앱의 중계가 일시적으로 끊겼으나 설정 변경은 없어 곧바로 회복되었습니다.

기간

2026-10-16 12:15 KST 인지 (실제 시작 시각 미확인)

2026-10-16 14:58 KST (사용자 확인 시각)

영향 서비스

Teleport 경유 Outline(docs.console.nangman.cloud). 같은 앱 에이전트가 중계하는 NPM, OPNsense, NAS 등 다른 앱은 영향 없음

담당자

리포터: 이성원 / 작업자: 태성우

포스트모텀 상세 보기
INC-20261008-DNS-001SEV-2해결됨

낭만 노트 backend 기동 실패 (RDS DNS 해석 차단)

backend(NestJS)가 기동 시 DB 연결에 실패해 약 43분 동안 crash loop 상태였고, 그동안 frontend의 모든 API 요청이 ECONNREFUSED로 실패했습니다. RDS, 보안그룹, NACL, Site-to-Site VPN, TLS 경로는 모두 정상이었습니다. 문제는 석촌 DNS가 RDS의 사설 IP 응답을 지운 것이었습니다. 장애 이전 백업에도 같은 DNS 설정이 있었으므로, 원래 있던 문제가 재기동하면서 새로 DNS를 조회하는 순간 드러난 것입니다.

기간

2026-10-08 08:23 KST

2026-10-08 09:06 KST

영향 서비스

낭만 노트(온프렘 Pi Docker Compose) backend API 및 frontend 전체 기능

담당자

리포터: 이성원 / 작업자: 이성원

포스트모텀 상세 보기
INC-20260821-VPN-001SEV-1해결됨

낭만 서비스 전체 접속 장애

석촌 인프라와 AWS VPC 사이의 VPN 터널이 중단되어 두 환경 간 네트워크 경로가 단절되었습니다. AWS VPC 내부의 EC2와 서비스 프로세스는 정상적으로 구동 중이었지만 해당 연결 경로에 의존하는 NPM 및 주요 서비스에 외부에서 접근할 수 없었습니다. 초기에는 일부 서비스 장애로 파악했으나 이후 전체 장애임을 확인했습니다.

기간

2026-08-21 01:57 KST

2026-08-21 02:35 이후 KST (정확한 복구 시각 미기록)

영향 서비스

Teleport, Mattermost, Huly, Now Down 등 AWS VPC 및 석촌-AWS 연결 경로에 의존하는 서비스

담당자

리포터: 태성우 / 작업자: 태성우

포스트모텀 상세 보기
INC-20260604-PROXY-001SEV-3해결됨

리버스 프록시 서버 NIC 링크 불안정 장애

리버스 프록시 서버의 물리 네트워크 링크가 불안정해지면서 외부 인터넷 연결이 간헐적으로 단절되었습니다. 이로 인해 리버스 프록시를 경유하는 내부 서비스의 외부 접근이 일시적으로 불가하거나 느려질 수 있었습니다.

기간

2026-06-04 00:40 KST

2026-06-04 00:52 KST

영향 서비스

리버스 프록시를 통해 외부에서 접근하는 내부 서비스, 리버스 프록시

담당자

리포터: 정희훈 / 작업자: 이성원, 유재영

포스트모텀 상세 보기
INC-20260503-NPM-001SEV-1해결됨

NPM 업데이트 중 Teleport 및 프록시 서비스 유실

NPM이 외부 HTTPS 프록시와 Teleport 진입점 역할을 동시에 담당하고 있어, NPM 컨테이너 중단 직후 서울/대전 하위 프록시 서비스와 Teleport 세션이 약 20분 동안 접근 불가 상태가 되었습니다.

기간

2026-05-03 16:40 KST

2026-05-03 17:00 KST

영향 서비스

서울 및 대전 NPM 하위 프록시 웹 서비스, Teleport 원격 관리 콘솔

담당자

리포터: 운영 기록 기준 미확인 / 작업자: 운영 기록 기준 미확인

포스트모텀 상세 보기
INC-20260307-AUTH-003SEV-2해결됨

Authentik SAML, OIDC 인증 깨짐 현상

OIDC 토큰 발급은 정상(로그인 성공)이었지만 GitHub API에서 Name Field가 NULL인 사용자는 해당 값을 리턴하지 못했고, Name Field를 요구하는 일부 연동 서비스에서 후속 인증과 사용자 매핑이 실패했습니다.

기간

2026-03-07 21:00 KST

2026-03-07 22:00 KST

영향 서비스

Authentik 연동 서비스 중 Name Field 값을 요구하는 서비스 (Authentik, Ansible AWX, Harbor)

담당자

리포터: 김주형 / 작업자: 이성원, 김주형

포스트모텀 상세 보기
INC-20260304-AUTH-002SEV-2해결됨

OIDC Subject 식별자 불일치로 인한 연동 서비스 데이터 조회 장애

OIDC 토큰 발급은 정상(로그인 성공)이나 서비스 DB가 보유한 기존 owner_sub/oidc_sub와 신규 sub가 불일치하여 기존 데이터 조회가 실패했습니다.

기간

2026-03-04 09:00 KST

2026-03-04 18:00 KST

영향 서비스

auth.nangman.cloud 연동 서비스 (Meet, Mail, Note, Harbor)

담당자

리포터: 김주형 / 작업자: 이성원

포스트모텀 상세 보기
INC-20260301-AUTH-001SEV-2해결됨

auth.nangman.cloud 접속 장애 (서울-대전 WireGuard 연동 구간)

서울 NPM과 대전 Auth 서버 사이 WireGuard 구간 단절로 OIDC 기반 내부 애플리케이션 4건에서 로그인 및 토큰 교환이 실패했습니다.

기간

2026-03-01 18:42:38 KST

2026-03-02 13:59 KST

영향 서비스

https://auth.nangman.cloud

담당자

리포터: 이성원 / 작업자: 이성원

포스트모텀 상세 보기