GPU가 밤새 돌아가고, 아침에 대시보드를 열어보니 “어제까지 잘하던 것”이 흐릿해져 있다. 연속학습(continual learning)에서 자주 겪는 상황이다. 최근에는 이를 단순한 정확도 하락만으로 설명하기보다, 네트워크 내부 표현이 저차원으로 수축하는 구조적 붕괴(structural collapse), 그리고 새 지식을 덜 받아들이는 가소성 상실(loss of plasticity) 관점에서 해석하려는 시도가 보인다.

세 줄 요약

• 무슨 변화/핵심이슈인가? 연속학습의 catastrophic forgetting을 “성능 저하”만으로 보지 않고, **표현 공간의 저차원화(구조적 붕괴)**로 함께 해석한다. 이때 effective rank(eRank) 같은 내부 지표로 변화를 추적하려는 접근이 나온다.
• 왜 중요한가? 정확도만 보면 내부 원인을 분리하기 어렵다. 일부 보고에서는 eRank 감소가 가소성 상실과 함께 관찰된다고 한다. 이를 활용하면, 망각이 드러나기 전 단계의 학습 능력 저하 신호를 점검하는 단서가 될 수 있다.
• 독자는 뭘 하면 되나? 연속 미세조정/온라인 적응 파이프라인에 (1) 태스크/업데이트 단위 eRank 로깅 (2) dead unit·가중치 크기와의 동시 모니터링 (3) 리플레이/정규화 같은 개입 전후의 동시 변화 비교를 실험 규칙으로 넣는다.

현황

연속학습은 태스크가 순차로 들어오고, 모델이 이전 태스크 성능을 유지하면서 새 태스크를 배우는지가 핵심이다. 평가는 대개 태스크 정확도 중심으로 이뤄진다. 정확도는 결과 지표다. 내부에서 어떤 변화가 있었는지는 직접 설명하지 않는다.

이 공백을 메우려는 흐름이 내부 표현 구조를 지표로 보는 접근이다. Nature 논문은 연속학습에서 가소성 상실이 가중치 크기 증가, dead unit 증가, 표현의 effective rank 감소와 함께 관찰된다고 보고한다. effective rank(eRank)는 표현이 실제로 활용하는 유효 차원 수를 요약하는, 랭크/스펙트럼 기반 지표로 이해하면 된다. eRank가 낮아지면 표현이 덜 펼쳐져 있을 가능성이 있다. 이 경우 새 정보를 담을 여지가 줄어든다는 해석이 제안된다.

또 다른 arXiv 연구(2403.15517)는 클래스 증분(class incremental) 설정에서 표현 랭크/feature richness를 높이는 방향을 제안하며, eRank 기반의 feature richness enhancement(RFR)를 언급한다. 핵심은 다음 태스크에서 학습이 잘 되려면 표현이 과도하게 수축하지 않도록 다루자는 주장이다. 한편 arXiv:2603.04580v1(“Why Do Neural Networks Forget: A Study of Collapse in Continual Learning”)도 요약 발췌에서 태스크 정확도만으로 내부 구조 변화를 놓칠 수 있다는 문제의식과, eRank 변화로 구조 붕괴·가소성 상실을 함께 보려는 맥락을 전제로 둔다.

분석

이 관점이 바꾸는 지점은 “연속학습을 어디서 고치느냐”다. 정확도는 하락이 드러난 뒤에야 변화가 보이는 경우가 많다. 반면 Nature에서 언급된 패턴, 즉 effective rank 감소가 가소성 상실과 함께 관찰된다는 점을 운영 신호로 보면, 겉으로 성능이 유지되는 구간에서도 내부 표현이 먼저 굳어 가는지 점검할 수 있다. 온라인 적응(지속 미세조정, 에이전트의 연속 업데이트, 로보틱스의 현장 적응)에서는 새 환경에서 학습이 멈추는 상태가 제품 리스크로 이어질 수 있다.

다만 여기에는 한계가 있다. 이번 조사 범위에서는 eRank가 ‘망각’을 얼마나 선행 예측하는지를 일반화해 제시한 정량 결과(예: 리드타임, 예측력 지표)를 확인하지 못했다. 또한 “eRank를 올리면 망각이 줄어든다”처럼 단순 인과로 정리하기는 어렵다. 조사된 논의에서는 어떤 개입이 eRank를 유지하더라도 가소성이 보존되지 않을 수 있다는, 지표-성능 불일치 가능성도 함께 고려한다. 따라서 eRank는 단일 KPI라기보다, 정확도와 다른 층의 진단 신호로 두는 편이 안전하다.

실전 적용

현장에서의 요지는 “정확도 그래프 옆에 구조 그래프를 함께 두는 것”이다. Nature가 함께 언급한 축이 힌트가 된다. 가중치 크기(weight magnitude), dead unit 비율, 표현 eRank를 같이 기록하면, 성능 변화가 최적화 문제인지, 표현 붕괴인지, 용량 감소(뉴런 비활성)인지에 대해 분리해 가설을 세우기 쉬워진다. 또한 arXiv:2503.20018에서 리플레이가 가소성 상실과 관련된 가설을 제시하는 흐름을 참고하면, 리플레이/정규화/초기화 정책을 “정확도만”이 아니라 가소성 신호의 동반 변화 기준으로 비교할 수 있다.

예를 들어 연속 미세조정하는 에이전트가 특정 시점 이후 새 도구 사용법을 잘 못 배운다고 하자. 태스크 정확도만 보면 “데이터가 나빠졌나?” 수준에서 끝나기 쉽다. 같은 구간에서 eRank가 떨어지고 dead unit이 늘었다면, 데이터 품질 이슈 외에 표현 수축으로 인해 새 기능을 담을 여지가 줄었다는 운영 가설을 추가로 세울 수 있다. 그 가설을 바탕으로 리플레이(경험 재생), 정규화 변경, 일부 레이어 재초기화 같은 실험을 설계할 수 있다.

오늘 바로 할 일 체크리스트

• 연속학습 실험 로그에 태스크/업데이트 구간별 eRank를 추가하고, 정확도 곡선과 같은 x축으로 겹쳐 본다.
• 같은 구간에서 가중치 크기와 dead unit 비율도 함께 기록해, “붕괴 vs 데이터/최적화”를 구분하는 최소 진단 세트를 만든다.
• 리플레이/정규화 같은 개입을 넣을 때 정확도 변화 + eRank/가소성 신호의 동시 변화를 한 화면에서 비교하는 리포트를 고정 템플릿으로 만든다.

FAQ

Q1. eRank는 정확히 무엇을 측정합니까?
A1. eRank는 표현(activation)이나 관련 행렬의 스펙트럼을 요약해, 모델 표현이 얼마나 많은 유효 차원을 쓰는지 나타내는 지표로 이해하시면 됩니다. 조사 범위에서는 연속학습에서 eRank 감소가 가소성 상실과 함께 관찰된다는 보고가 있습니다.

Q2. eRank만 보면 망각을 예측할 수 있습니까?
A2. 그 정도로 단정하기는 어렵습니다. 조사 범위에서 eRank/유효 랭크 지표가 가소성 상실과 함께 감소하고 이후 학습 부진과 함께 나타난다는 보고는 있으나, 망각을 얼마나 선행 예측하는지를 일반화한 정량 지표는 확인하지 못했습니다.

Q3. 운영 환경(에이전트/로보틱스 온라인 적응)에서 eRank를 KPI로 써도 됩니까?
A3. 모니터링 지표로 쓰는 근거는 있습니다. 연속학습에서 가소성 상실 시 eRank가 떨어진다는 관찰이 보고되어 감시 신호로 활용할 수 있습니다. 다만 eRank 임계값을 두고 자동으로 학습률 조정이나 리셋을 수행하는 표준화된 닫힌루프 운영 사례는 조사 범위에서 직접 확인하지 못했습니다.

결론

연속학습의 관점은 “정확도를 얼마나 지키나”에서 “표현이 얼마나 유지되나”로도 확장되고 있다. eRank는 그 변화를 관찰하는 내부 계기판 중 하나다. 다음 단계는 이 계기판을 실험 설계와 운영 의사결정에 연결하는 방법을 정리하는 일이다. 무엇을 함께 모니터링할지, 어떤 개입을 언제 적용할지 같은 기준을 현장 데이터로 조정해 나가야 한다.

다음으로 읽기

• AI 자료 모음 (24h) - 2026-03-06
• Cryo-SWAN, 밀도맵 3D VAE의 포맷 전환
• 2-bit 양자화, 생성 붕괴의 함정
• 차량 앵커로 UAV 스케일 복원
• AgentSelect: 질의로 에이전트 구성 추천

참고 자료

• Understanding Collapse in Non-Contrastive (ECCV 2022) - cs.cmu.edu
• Loss of plasticity in deep continual learning | Nature - nature.com
• Improving Forward Compatibility in Class Incremental Learning by Increasing Representation Rank and Feature Richness (arXiv:2403.15517) - arxiv.org
• Experience Replay Addresses Loss of Plasticity in Continual Learning (arXiv:2503.20018) - arxiv.org
• arxiv.org - arxiv.org