아틀라시안 클라우드 775개 고객 사이트 삭제 사고, 최장 14일 지라·컨플루언스 마비

아틀라시안은 2022년 4월 5일 협정세계시 07시 38분부터 08시 01분까지 단 23분 사이 자사 클라우드에서 883개 고객 사이트를 즉시 삭제했다. 이는 775개 고객에 해당하며, 흡수 통합된 구형 독립 앱 '인사이트–애셋 매니지먼트'를 고객 사이트에서 비활성화하려던 작업이 원인이었다. 요청 팀이 삭제 대상 앱의 ID 대신 사이트 전체의 ID를 전달했고, 스크립트도 복구 가능한 삭제가 아닌 영구 삭제 모드로 실행됐다. 사이트가 지워지자 해당 사이트의 지라, 컨플루언스 등 모든 제품과 연결된 사용자·서드파티 앱 접속이 한꺼번에 끊겼다. 사이버 공격이 아니라 내부 소통 오류와 안전장치 부재가 부른 사고라는 점에서 클라우드 사업자의 삭제 절차 관리가 도마에 올랐다.

아틀라시안의 사후 검토서에 따르면 삭제 직후인 07시 46분께 첫 고객 지원 요청이 접수됐고, 08시 17분에 중대 사고 대응 절차가 가동됐다. 이어 08시 24분에는 심각도가 최고 등급으로 올라갔으며 08시 53분께 근본 원인이 사이트 삭제로 확인됐다. 그러나 삭제된 사이트를 한 번에 되돌리는 자동 복구 수단이 없어 엔지니어들이 고객별로 데이터를 되살려야 했다. 일부 고객 사이트가 다른 고객과 데이터 저장소를 공유하는 구조여서 단순히 백업 시점으로 되돌리면 정상 고객의 최신 데이터가 날아가는 문제도 있었다. 이 때문에 복구는 사이트 단위로 백업에서 데이터를 뽑아 검증하는 수작업 중심으로 진행됐다.

사고 이틀 뒤인 4월 7일에야 아틀라시안은 트위터를 통해 일부 고객이 장애를 겪고 있다고 공개적으로 인정했다. 영향을 받은 제품은 지라 소프트웨어, 지라 워크 매니지먼트, 지라 서비스 매니지먼트, 컨플루언스, 옵스지니 클라우드, 스테이터스페이지, 아틀라시안 액세스 등이었다. 회사는 문제를 '소수 사이트'의 장애로 설명했지만 수백 명의 엔지니어를 투입했다고 밝혀 고객들은 설명이 축소됐다고 비판했다. 전체 고객 20만 곳 이상 가운데 약 400곳이 피해를 입었다는 보도가 이어졌고, 사이버 공격이 아니라는 점과 복구된 고객에 데이터 손실이 없다는 점도 이때 강조됐다. 늦은 초기 소통은 이후 사후 검토서에서 개선 과제로 꼽혔다.

아틀라시안은 4월 8일 삭제된 사이트 가운데 첫 번째 고객군의 복구를 마쳤다고 밝혔다. 복구는 사이트별로 백업 데이터를 추출하고 내부 검증과 고객 확인을 거치는 방식이어서 한 번에 최대 약 60개 테넌트 단위로 며칠씩 걸렸다. 회사는 30일간 보관되는 불변 백업과 여러 가용 영역에 동기화된 백업을 활용해 데이터를 되살렸다. 이 방식 덕분에 대부분의 고객은 데이터 손실이 없었고, 일부도 사고 직전 5분 이내 데이터만 잃었다고 회사는 설명했다. 다만 복구 속도가 느려 첫 복구까지 사흘이 걸렸다는 점에서 고객 불만은 계속됐다.

4월 10일 기준 아틀라시안은 피해를 입은 사용자의 35% 이상에 대해 기능을 재구축했다고 밝혔다. 회사는 복구된 고객에게서 지금까지 데이터 손실이 보고되지 않았다고 설명하면서 이번 사고가 사이버 공격의 결과가 아니라는 점을 거듭 강조했다. 그러나 사고 발생 후 일주일 가까이 수백 개 고객이 지라와 컨플루언스 없이 업무를 해야 했고, 일부 관리자는 팀 업무가 사실상 멈췄다고 호소했다. 복구 진행률이 공개되면서 불확실성은 줄었지만 정확한 완료 시점은 여전히 제시되지 않았다. 이 시기 아틀라시안은 날마다 상황을 업데이트하겠다고 약속했다.

아틀라시안 최고기술책임자 스리 비스와나스는 이번 사고와 회사의 대응 속도가 '우리 기준에 못 미쳤다'며 회사를 대표해 사과했다. 회사는 기술 블로그를 통해 사고 원인과 복구 방식을 처음으로 상세히 설명하고 복구에 최대 약 2주가 더 걸릴 수 있다고 안내했다. 복구가 끝나지 않은 고객에게는 별도 담당자가 붙었고 이후 공개 사후 검토서를 발간하겠다는 약속도 나왔다. 한 기업 최고정보책임자는 서비스가 멈추면 사업이 멈춘다며 느린 공개 소통을 비판했다. 이 사과는 클라우드 의존도가 높은 기업들이 공급업체의 삭제·복구 절차를 점검하는 계기가 됐다.

아틀라시안은 4월 18일까지 삭제됐던 모든 고객 사이트를 순차적으로 복구했다고 밝혔다. 최초 복구 이후 두 번째 방식이 도입되면서 사이트당 복구 시간이 크게 단축됐고, 사고 발생 후 최장 14일 동안 접속하지 못한 고객도 있었다. 사후 검토서는 어떤 고객도 5분을 넘는 데이터를 잃지 않았고 시간 단위 복구 목표도 충족했다고 밝혔다. 다만 초기에 복구된 57개 고객은 일부 데이터베이스가 5분보다 이전 시점으로 복원됐다. 호주 현지 매체는 18일 밤부터 19일 아침 사이 복구가 마무리됐다고 전했다.

아틀라시안은 4월 29일 사고를 정리한 공개 사후 검토서를 내고 소프트 삭제, 재해 복구 자동화, 사고 대응 훈련, 고객 소통 절차 정비 등 재발 방지 과제 네 가지를 제시했다. 첫째는 모든 시스템에 일괄적으로 소프트 삭제를 도입해 삭제 후에도 되살릴 수 있게 하는 것이고, 둘째는 여러 사이트·제품이 동시에 삭제되는 상황에 대비한 재해 복구 자동화다. 셋째는 대규모 사고 대응 매뉴얼과 훈련 강화, 넷째는 백업 연락처를 포함한 고객 소통 절차 정비였다. 회사는 요청 팀과 실행 팀 사이의 소통 오류와 API가 입력값을 검증하지 않은 점을 핵심 원인으로 인정했다. 이후 기술 매체들은 아틀라시안이 사이트 삭제 시 검증을 요구하는 소프트 삭제 정책을 도입했다고 전했다.