[병리 AI] CELNet: Evidence Localization for PathologyImages using WSL

연구실 병리학 세미나에서 CELNet: Evidence Localization for Pathology Images using Weakly Supervised Learning 논문을 리뷰하는 시간을 가졌다. 논문에 대한 기존의 리뷰 자료가 전혀 없던터라 힘들었다..

본 논문은,, 딥러닝이 digital pathology의 많은 task에 있어서 성능 향상을 보여줬지만, 여전히 임상 실험들에 대한 해석력이 좋지 않고, object localization 향상을 위한 설명력이 요구되고 있는 문제를 극복하기 위한 연구의 내용을 담고 있다.

Weakly Supervision을 기반으로 한 접근법을 제안하는데, 난 Weakly Supervision도 제대로 알지 못하고 있었기 때문에 해당 개념부터 공부해야했다..

Weakly Supervised Learning이란 !!
이미지에 대하여 쉽게 생각해보면, 아래의 그림 처럼 픽셀 수준에서 라벨링을 하는 것이 아니라, 원하는 부위에 대해서만 라벨링을 해준다고 생각하면 된다. So easy,, 하지만, 어느정도 수준에서의 라벨링을 진행해야 할지를 판단하는 것은 병리학에서 무척 중요할 것이다.

Weakly Supervised Semantic Segmentation

왼쪽의 그림은 Weakly Supervised Learning을 Semantic Segmentation에 적용하는 경우를 보여준다. Input 이미지가 있고, 인코더와 디코더를 semantic segmentation의 모델로서 사용한다. 왼쪽 과정의 lotation을 통해 계속 Update한다고 보면 된다.


어쨌든, 이러한 Weakly Supervised Learning에 기반하여 Method를 제안한다.

Framework

이런 Framework를 제안하는데,,, 복잡하다,, 하나하나 살펴봐야 한다.
Method (1) - CELNet
위 그림에서의 아래쪽 부분이 Cancer Evidence Localization을 위한 Network이며, 첫 번째 Method로서 소개된다.
Network에 두 가지 중요한 특징이 있다.
1. Multi Branch Attention module
음... 우선, 선행된 연구에서 등장한 CBAM이라는 모듈이 있다. 해당 모듈은 이미 훌륭하다.. 내가 볼 땐 본 논문에서는 CBAM을 그대로 가져다 베꼈다.. 딱 하나 다르다. spatial attention module에서 커널의 크기를 다양하게 가져간다. 어떻게 보면 당연히 더 좋은 성능을 낼 수 있는 방법이긴 한 것 같다. 수식의 부분이 다른 점이라고 CBAM과 다른 점이라고 보면 된다.

CBAM을 개선한 Multi Branch Attention Module

2. Deep Supervision

Deep Supervision

Deep Supervision이라는 것은 뉴럴 네트워크에서 classifier를 여러 개 추가적으로 두어 성능을 올리는 것을 말한다. 논문에서는 deep supervision을 사용함으로써 activation map 구축에 있어서 더 좋은 해상도, 더 높은 해상도로 map을 구축할 수 있다고 말한다.
CBAM을 공부해보았을 때, CBAM이라는 모듈 자체가 Deep Supervision을 이미 가지고 있는 모듈로 보여졌다. 지금 이 논문에서는 multi branch attention module과 deep supervision을 각각 쪼개서 좀 있어 보이게끔 framework를 구성했다. 근데, CBAM이라는 모듈의 로직을 보니깐 마지막 단게에 GAP, GMP 단계가 어차피 포함되어 있었다.
확실히 이써빌리티 논문이었다.
어쨌든 본 논문에서는 추가적으로 Deep Supervision을 사용했음을 언급하면서 GAP와 GMP를 같이 사용한 것을 강조하고 있다!

Method (2) - Cancerous Evidence Localization Map (CELM)
1. Cancer Activation Map (CAM)

Grad CAM과 논문에서의 CAM (Cancer activation map)

지금부터 제안하는 method는 최종적으로 더 설명력 있는 Localization을 위한 단계라고 보면 된다.
논문에서는 이를 위해 첫 번째로 CAM을 소개한다. 아무래도 당연히 Class activation map이라고 생각할 수 있는데, 여기서는 Cancer다.. ㅋㅋ 그리고 또 Cancer activation map은 좀 다른 구조의 수식과 알고리즘을 가진다고 한다. 그럼 한 번 보자.
어 막상 보니깐 CAM에서 발전한 Grad CAM과 똑같다..
더 설명할 필요도 없이 너무 동일하기 때문에, 같다고 봐도 무방할 것 같다..

2. Cancer Saliency Map (CSM)
그리고 다음으로는 또 추가적으로 cancer saliency map을 언급하고 있다. 이것도 일반적인 CAM이나 Grad-CAM과 유사하지만, 다른 부분을 얘기하자면, Saliency map은 픽셀와이즈하게 인지하지 않고, 사람의 인지작용처럼 관심 영역을 먼저 인지하도록 작동된다고 한다. 또한 픽셀마다의 기여도를 더욱 세밀하게 잘 나타낸다고 한다.

3.Complementary Fusion

최종적으로 여러개의 Map에 가중치를 둬서 합친다. 각각의 장점을 결합하기 위해서 제안된 것이다. 수식을 보았을때 깊은 의미를 가지는 수식이 아니고, 그냥 나이브하게 결합하는 수식으로 보여진다. , 각각의 Map에 가중치를 두고 최종 Map을 도출한다.



Experiments & Result

- CELNet의 classification 성능을 평가해보는 task이다. ResNet18과 DenseNet과 같은 method에 비해서 Accuracy나, AUC가 일관되게 능가하는 score를 보여준다.

HPLOC : Calelyon16 데이터셋의 일부를 sampling하여 weakly supervised 데이터셋으로 구성

HPLOC 데이터셋에 대해서 실제로 evidence localization을 수행한 결과를 보여준다. 나의 정성적인 평가를 해보았을 때는 솔직히 CELM이 더 좋은 localization을 보여주는지 잘 모르겠다. 하지만 논문은 CELM이 가장 좋은 localization을 보여준다고 말하고 있다. 오른쪽의 테이블은 몇 가지 method들의 precision과 recall score를 측정하는데, 이는 localization을 얼마나 정확히 했는지를 정량적으로도 평가해본 것이다. Ours는 본 논문의 Framework의 전체적인 형태라고 보면 된다. 기존의 기법과 그렇게 차이가 많이나는 score인지는 모르겠으나, 논문에서는 충분히 유의미한 결과라고 말해준다.


Conclusion

결론은 아래와 같이 contribution 관점에서 정리해보았다.

1. 암에 대한 evidence를 localization 하기 위한 일반화 가능한 방법을 제안하고 있다.

2. Weakly supervised learnin을 사용해서 신뢰성 있는 localization을 제공한다.

3. 되게 미세한 현미경 이미지에 기반한 연구에 큰 영향을 미칠 수 있다.

4. 현재 딥러닝 기반 분석 시스템에 해석 가능성을 개선할 수 있다.

선행된 연구들을 결합하는 식의 시도를 다양하게 해보는 것은 필요한 것 같다. 의학 교수님께서도 이러한 식의 task를 수행하는 것은 분명 필요하다고 말씀해주셨다.
논문을 통해 많이 공부할 수 있었고, 확실하게 이해하고 발표하니 자신감도 더 커질 수 있었다.