배터리 R&D 팀은 주로 MAE와 MAPE를 사용하여 RUL 알고리즘의 정확도를 평가합니다. 이러한 지표는 테스트한 셀에서 예측된 잔여 유효 수명과 실제 배터리 고장까지의 시간 또는 사이클 수를 비교합니다. 운영 테스트가 진행될수록 추가적인 열화 데이터(예: 용량 손실 및 내부 저항 증가)가 불확실성과 매개변수 추정 편향을 줄이므로 일반적으로 예측 정밀도가 향상됩니다.
핵심 요점: 절대적인 RUL 오차에는 MAE를, 규모가 정규화된 백분율 오차에는 MAPE를 사용하고, 큰 오차와 예측 신뢰도도 중요한 경우에는 RMSE 또는 불확실성 구간을 사용하세요. 운영 데이터가 많아지면 일반적으로 정확도가 향상되지만, 그 효과는 데이터 품질, 모델의 타당성, 그리고 테스트된 부하 프로파일이 실제 환경을 얼마나 잘 대표하는지에 따라 달라집니다.
RUL 정확도 측정 방법
평균 절대 오차는 실제적인 예측 편차를 측정합니다
MAE는 예측 RUL과 실제 RUL 간 절대 차이의 평균입니다.
[ MAE=\frac{1}{N}\sum_{i=1}^{N}\left|\widehat{RUL}_i-RUL_i\right| ]
이는 사이클, 시간 또는 분과 같이 목표값과 동일한 단위로 표시됩니다.
MAE가 낮다는 것은 알고리즘이 평균적으로 실제 고장 시점에 더 가깝다는 의미입니다. MAE는 “예측이 실제와 얼마나 차이가 나는가?”라는 질문에 직접 답하기 때문에 엔지니어링 의사 결정에서 가장 직관적인 지표인 경우가 많습니다.
평균 절대 백분율 오차는 오차를 정규화합니다
MAPE는 실제 RUL을 기준으로 한 절대 예측 오차를 나타냅니다.
[ MAPE=\frac{100}{N}\sum_{i=1}^{N} \left|\frac{\widehat{RUL}_i-RUL_i}{RUL_i}\right| ]
MAPE를 사용하면 작동 수명이 서로 다른 셀 또는 테스트 사례 간의 성능을 비교할 수 있습니다.
그러나 실제 RUL이 매우 작을 때 MAPE는 불안정해집니다. 수명이 다하는 시점에 가까워지면 작은 절대 오차도 불균형적으로 큰 백분율 오차를 만들 수 있으므로, MAPE는 MAE 또는 다른 절대 오차 지표와 함께 해석해야 합니다.
RMSE는 큰 예측 실패를 강조합니다
평균 제곱근 오차(RMSE)도 리튬 이온 배터리 RUL 검증에 사용됩니다.
[ RMSE=\sqrt{\frac{1}{N}\sum_{i=1}^{N} \left(\widehat{RUL}_i-RUL_i\right)^2} ]
오차를 제곱하기 때문에 RMSE는 MAE보다 큰 오차에 더 큰 불이익을 줍니다. 심각한 과소 예측 또는 과대 예측이 안전, 유지보수 또는 보증 위험을 초래할 수 있는 경우에 유용합니다.
상대 오차와 반복성은 더 넓은 모델 동작을 보여줍니다
R&D 프로그램에서는 상대 예측 오차, 오차 표준편차, 반복 충방전 사이클 간 변동도 보고할 수 있습니다.
이러한 측정값은 실제값에 일관되게 가까운 모델과 간헐적으로 큰 편차를 발생시키는 모델을 구분하는 데 도움이 됩니다. 셀 배치, 열화 조건 또는 동적 작동 프로파일에 따라 알고리즘을 비교할 때 특히 중요합니다.
알고리즘 검증에 사용해야 하는 데이터는 무엇인가요?
실제 고장 시점이 기준 목표값입니다
RUL 예측은 셀이 수명 종료 임계값에 도달하는 실제 사이클 또는 시간을 정의한 기준값과 비교해야 합니다.
이 임계값은 용량 열화, 내부 저항, 방전 종료 특성 또는 애플리케이션별 다른 기준에 따라 정할 수 있습니다. 고장 정의가 일관되지 않으면 정확도 지표도 의미가 없어집니다.
열화 관측값이 예측 업데이트를 이끕니다
유용한 입력값에는 용량 측정값, 내부 저항 변화, 충전 상태, 온도, 전류, 전압 및 누적 사이클 이력이 포함됩니다.
동적 애플리케이션의 경우 테스트 시스템은 평균 전류, 전류 변동, 최대 및 최소 전류, 단계 지속 시간과 같은 부하 프로파일 통계도 수집해야 합니다. 이러한 변수는 예측 모델이 안정적인 실험실 사이클링과 실제 작동 요구 사항 간의 차이를 반영하는 데 도움이 됩니다.
HIL 테스트는 실제 환경의 견고성을 확인합니다
과거 사이클링 데이터에 대한 오프라인 정확도만으로는 충분하지 않습니다. 하드웨어 인 더 루프 테스트를 통해 예측 알고리즘을 프로그래밍 가능한 배터리 장비에 연결하고 변화하는 부하, 환경 조건 및 운영 제약에 노출할 수 있습니다.
이 과정은 모델이 완료된 열화 기록에 단순히 적합하는 것이 아니라 온라인으로 RUL을 추정해야 할 때도 안정적으로 작동하는지 테스트합니다.
운영 테스트 시간이 예측 정밀도에 영향을 미치는 이유
초기 예측에는 열화 근거가 제한적입니다
테스트 초기에는 알고리즘이 개별 셀의 동작에 대한 짧은 이력만 보유합니다.
따라서 모집단 수준의 가정, 초기 매개변수 추정값 또는 과거 셀 데이터에 더 크게 의존해야 합니다. 결과적으로 제조 편차와 초기 사이클 측정 노이즈가 상당한 RUL 불확실성을 만들 수 있습니다.
추가 사이클은 개별 열화 경로를 드러냅니다
테스트가 계속되면 시스템은 해당 셀의 실제 열화 궤적을 더 많이 관찰합니다.
예를 들어 누적된 내부 저항 측정값은 열화율과 위험 모델 매개변수를 업데이트하는 데 도움이 될 수 있습니다. 모델은 점차 일반적인 모집단 추정에서 셀별 예측으로 전환되며, 이에 따라 일반적으로 MAE와 MAPE가 감소합니다.
후기 데이터는 더 높은 신뢰도를 제공하는 경우가 많습니다
셀이 정의된 고장 임계값에 가까워지면 열화 추세를 더 명확하게 식별할 수 있습니다.
따라서 알고리즘은 수명 초기 데이터만으로 예측할 때보다 더 높은 신뢰도로 고장을 예측할 수 있습니다. 실제로 테스트에서 유용한 관측값이 누적될수록 예측 구간은 좁아지는 경우가 많습니다.
시간이 늘어난다고 해서 예측이 항상 향상되는 것은 아닙니다
추가 운영 시간은 신뢰할 수 있고 대표성 있는 데이터를 생성하는 경우에만 도움이 됩니다.
센서 노이즈, 불규칙한 샘플링, 변화하는 온도, 모델에 반영되지 않은 부하 조건 또는 잘못된 열화 모델은 정확도 향상을 방해할 수 있습니다. 품질이 낮거나 대표성이 부족한 데이터로 진행한 장기 테스트는 정확하고 유용한 측정을 수행한 단기 테스트보다 가치가 낮을 수 있습니다.
예측 불확실성을 보고하는 방법
점 예측 정확도만으로는 충분하지 않습니다
MAE, MAPE 및 RMSE는 예측값과 실제 결과 간의 차이를 요약하지만, 개별 예측이 얼마나 확실한지는 나타내지 않습니다.
따라서 RUL 시스템은 가능한 경우 예측 구간, 신뢰 구간 또는 확률 분포도 함께 보고해야 합니다.
신뢰 구간은 예상 오차 범위를 정량화합니다
RUL 출력에 적합한 분포를 사용하여 68% 및 95% 신뢰 수준과 같은 구간을 추정할 수 있습니다.
이러한 구간은 엔지니어가 예측값이 좁게 집중되어 있는지 또는 불확실성이 높은지를 파악하는 데 도움이 됩니다. 평균 오차가 낮더라도 구간의 보정이 제대로 이루어지지 않은 모델은 유지보수 또는 임무 계획에 여전히 위험할 수 있습니다.
왜곡된 고장 분포에는 주의가 필요합니다
배터리 고장 시간은 항상 정규 분포를 따르지는 않습니다. 열화 변동성과 셀 간 차이로 인해 RUL 분포가 왜곡될 수 있습니다.
이러한 경우 실제 RUL이 구간 안에 포함될 확률을 최대화하도록 고정 폭 구간을 선택할 수 있습니다. 최대 확률 구간 접근법은 단순히 평균 또는 중앙값을 중심으로 구간을 설정하는 것보다 이러한 목표를 더 직접적으로 다룹니다.
절충점 이해하기
MAPE는 고장 직전의 오차를 과장할 수 있습니다
MAPE는 데이터셋 간 비교가 쉽다는 장점이 있지만, 분모가 실제 RUL입니다.
실제 RUL이 0에 가까워질수록 MAPE는 불균형적으로 커질 수 있습니다. 따라서 MAPE를 유일한 승인 기준으로 사용하지 말고 MAE, RMSE 또는 대체 백분율 지표와 함께 사용하세요.
낮은 평균 오차는 위험한 이상치를 숨길 수 있습니다
모델이 우수한 MAE를 달성하더라도 간혹 심각한 예측 오차를 발생시킬 수 있습니다.
후기 예측 오류가 과방전, 유지보수 누락 또는 배터리 조기 교체를 초래할 수 있는 경우에는 RMSE, 최대 오차, 오차 백분위수 및 셀별 결과를 검토해야 합니다.
후기 정확도가 초기 단계의 유용성을 나타내지는 않을 수 있습니다
수명 종료 시점에 가까워질수록 매우 정확해지는 알고리즘이라도 임무 또는 보증 기간의 초기 및 중간 단계에서는 불확실성이 너무 클 수 있습니다.
따라서 평가는 최종 또는 후기 단계의 성능만 보고하지 말고 운영 수명에 따라 초기 사이클, 중간 수명 및 후기 수명 예측 시점으로 구분하여 수행해야 합니다.
가속 테스트는 관측 가능성을 낮출 수 있습니다
가속 열화는 달력 시간을 단축하지만 정상 작동에서 나타나는 열화 메커니즘이나 부하 조건을 변경할 수 있습니다.
그 결과 알고리즘이 가속 테스트의 동작은 정확하게 예측하면서도 실제 현장 프로파일에서는 성능이 저하될 수 있습니다. 검증에는 동적 프로파일과 적절한 경우 하드웨어 인 더 루프 또는 대표성 있는 운영 테스트를 포함해야 합니다.
목표에 맞는 선택
가장 유용한 평가는 RUL 알고리즘이 지원해야 하는 의사 결정에 맞춰 지표를 구성하는 것입니다.
- 주요 관심사가 평균적인 엔지니어링 정확도인 경우: MAE를 주요 지표로 사용하고 사이클, 시간 또는 분 단위로 보고하세요.
- 주요 관심사가 수명이 서로 다른 셀 간 비교인 경우: MAPE 또는 상대 오차를 추가하되, RUL이 0에 가까운 결과는 주의해서 해석하세요.
- 주요 관심사가 심각한 예측 누락 방지인 경우: 이상치를 드러내기 위해 RMSE, 최대 오차 및 오차 분포를 포함하세요.
- 주요 관심사가 유지보수 또는 임무 안전인 경우: 점 오차 지표와 함께 예측 구간 또는 보정된 신뢰 수준을 보고하세요.
- 주요 관심사가 수명 초기 예측인 경우: 최종 또는 후기 단계의 성능만 보고하지 말고 여러 운영 수명 시점에서 정확도를 평가하세요.
- 주요 관심사가 현장 배포인 경우: 동적 부하 프로파일, 정밀한 열화 측정값 및 하드웨어 인 더 루프 테스트를 사용하여 모델을 검증하세요.
신뢰할 수 있는 RUL 평가는 절대 오차, 상대 오차, 불확실성 및 운영 시간에 따른 성능을 결합하여 정밀도 향상이 가정이 아닌 실제 결과임을 입증합니다.
요약 표:
| 지표 | 설명 | 사용 사례 |
|---|---|---|
| MAE | 예측 RUL과 실제 RUL 간 평균 절대 차이 | 직접적인 엔지니어링 의사 결정, 직관적인 오차 크기 파악 |
| MAPE | 실제 RUL을 기준으로 한 백분율 오차 | 수명이 서로 다른 셀 간 비교; 수명 종료 시점 부근에서는 주의 |
| RMSE | 큰 오차에 불이익을 주는 평균 제곱근 오차 | 심각한 예측 누락 강조 |
| 상대 오차 | 실제 RUL의 일부로 나타낸 오차 | 더 광범위한 모델 동작 분석 |
| 예측 구간 | 실제 RUL이 신뢰 수준에 따라 포함될 것으로 예상되는 범위 | 유지보수 및 안전 계획 |
당사의 첨단 테스트 솔루션으로 배터리 R&D를 최적화하세요. 지금 문의하여 RUL 예측 정확도를 향상하고 배터리 수명을 연장하세요. 문의하기!