[병리 AI] 병리 AI_Lab Seminar (2)

22.07.19.

제목 : Graph Convolution Networks for Cell Segmentation

[PDF] Graph Convolution Networks for Cell Segmentation | Semantic Scholar

논문 내용 요약

 정확하게 질병을 진단하고 조기에 발견하기 위해서 automated segmentation이 중요한 역할을 하고 있다. 본 논문에서는 Immunostained slides 분석의 정확도 향상을 위해서 cell segmentation과 관련된 두 가지의 기법을 제안한다. 이는 spectral based GCN 방식과, spatial based GCN 방식이다.

논문의 시사점

 본 논문에서 진행한 실험을 통해 FCN(Fully Convolutional Networks)와 비교하여 spectral based GCN과 spatial based GCN의 개선된 결과를 확인할 수 있다. 특히, Spectral based  모델 대비 계산의 효율성이나 처리 가능한 그래프 종류 등의 면에서 최근 더 선호되는 spatial based 모델 방식을 본 논문에서 진행한 immunostained slides뿐만 아니라 유방암 WSI에 대해서도 충분히 활용할 수 있을 것으로 보인다.

 

나의 리뷰

  민정이의 발표 논문은 GNN과 CNN 각각의 특성을 활용한 GCN이라는 기법에 대해서 중점적으로 소개하고 있다.

관련하여 두가지 기법을 제안하는데, 첫 번째로 spectral based GCN 방식은 이미지나 음성 그래프의 노드가 갖는 signal을 단순한 signal의 합으로 decomposition 하여 나타내는 윈리라고 하였다. 그리고 두 번째로 spatial based GCN 방식은 노드들의 가까운 이웃노드들에 한해서 conv연산을 수행해서 노드의 정보를 업데이트 하는 방식으로 진행된다고 하였다. 논문의 실험에서는 몸의 면역체계를 판단하기 위한 지표로 CD4와 CD8의 비율을 측정한다. 두 방법이 좋은 성능을 보이는 것을 확인할 수 있었다.

둘 다 기존 FCN에 비해 좋은 성능을 보이지만, spectral based GCN과 spatial based GCN이 성능 차이를 보이는 이유에 대한 성진이형의 댓글을 읽어보니, 앞으로 접하게 될 다양한 기법들에 대해서 깊은 관심을 갖고 탐구하는 자세가 필요할 것 같다는 생각이 들었다.

---

22.07.19.

제목 : Deep Multi-Magnification Networks for multi-class breast cancer image segmentation 

Deep Multi-Magnification Networks for Multi-Class Breast Cancer Image Segmentation

논문 내용 요약

 유방에 대한 이미지 데이터에 대해 CNN구조의 patch 기반으로 segmetation을 예측하는 모델을 제안합니다. segmentation은 유방을 구성하고 있는 여러 조직들에 대한 class로 나눠 multi-class classification을 진행하고, 제안한 DMMN을 이용해 이미지를 downsampling하여 여러 배율에서의 정보도 이용한다.

논문의 시사점

 본 논문에서 중요하게 볼 부분은 DMMN으로 한 이미지에 대한 여러 배율 데이터를 가지고 진행하여 더 다양한 정보를 얻을 수 있다는 점이라고 생각한다. 현재 우리가 다루고 있는 데이터와도 비슷하고 암을 진단할 지표가 되는 조직들의 상태에 대해서 배율 조절로 더 많은 정보를 끌어낼 수 있다면 의사선생님들의 진단을 도울 수 있는 모델이 될 것이라고 생각한다.

 

나의 리뷰

  오늘 수빈이가 발표한 논문에서 소개하는 기법은 유방암을 진단하기 위한 방법론 중 하나였다. 유방암 진단시 종양의 세포와 같은 형태학적인 부분을 먼저 진단하게 되는데, 이러한 진단을 더욱 정확하게 하기 위해서 현미경을 통한 자세한 이미지를 필요로 하게 되고, 더 많은 시간이 소요된다고 한다. 이러한 조직학적 이미지를 딥러닝을 통해 computational Images로 변환 시킬 수 있는 연구가 많이 진행되고 있다. 이전 발표에서 알 수 있었던 wsi를 마찬가지로 이용해서 딥러닝을 돌리기엔 slide 하나의 사이즈가 너무 커서 wsi를 이용하기에는 사이즈에 대한 문제가 있으며, 본 논문에서는 이를 한계로 말한다. 그래서 논문에서 제안하는 기법의 차별점은 slide based 방식을 사용하지 않고, patch based 접근법을 사용한다는 점이었다. 해당 접근법은 CNN을 사용하며, 슬라이드를 patch별로 쪼개서 pixel 하나하나를 예측하는 형태로 진행된다. 또 해당 기법의 중요한 점은 하나의 배율만 관찰할 수 있는 단순한 patch 기반의 접근이 아닌, patch extraction을 통해 low magnification의 patch정보까지 관찰이 가능하도록 한다는 부분이었다. 그리고 추가적으로, class balancing을 수행해서 더 정확한 결과를 내도록 하는데, 이때 augmentation 기법 중 하나인 elastic deformation을 사용한다고 한다. 사실 발표를 들을 때는 잘 이해가 안 가고 추상적이었지만, 다시 확인해 보니 조금은 정리가 되었다.

• 궁금했지만, 물어보지 못했던 부분이 있었다.

test set에서의 결과가 좋지 못하다고 언급하신 부분에서 알 수 있는 점이 이미지 레이블링 작업이 불가피함을 말해주는 것인지, 혹은 다른 의미가 있는지 확실하게 이해하지 못했다.

---

22.08.03

제목 : HACT-Net: A Hierarchical Cell-to-Tissue Graph Neural Network for Histopathological Image Classification

HACT-Net: A Hierarchical Cell-to-Tissue Graph Neural Network for Histopathological Image Classification

논문 내용 요약

 정확하게 질병을 진단하고 암 진단 및 치료 반응 예측 등은 병리학적인 구조와 조직의 기능 사이의 관계에 의해 크게 영향을 받습니다. 본 논문에서는 조직의 구조를 개선된 묘사를 위해 새로운 HACT-Net을 제안하였습니다. low-level의 cell-graph, high-level의 tissue-graph, cell과 tissue의 hierarchical 구조로 구성되어 있습니다. 새롭게 제안한 방법은 cell과 tissue간의 관계 정보를 분석할 수 있습니다.

논문의 시사점

 본 논문에서는 고정 크기의 패치 추출 및 CNN을 활용하는 방법의 한계점인 생물학적인 맥락 이해할 수 없는 문제를 극복하고자 새로운 방법을 제안했습니다. 또한 cell-graph의 tissue의 분포 정보가 없어진다는 한계점을 극복하고자 하였습니다. 그래서 cell과 tissue의 정보를 활용할 수 있도록 하였습니다. 기존에 존재하던 convolutional neural network의 방법을 능가하였습니다.

 

나의 리뷰

 유방은은 사망률이 두 번재로 높은 흔한 암이다. 유방암의 등급을 스펙트럼에 따라 진단하는데, 이를 정확하게 파악하는 것은 무척 중요하다. 하지만 병리학자가 직접 진행하기에는 시간이 무척 오래걸리는 어려운 문제다. 자동화가 요구된다는 말이다. CNN을 사용하더라도 적절한 패치 크기, 해상도를 찾는 것에는 한계가 있으며, 생물학적인 맥락을 이해하지 못한다는 단점이 있다. 이를 해결하기 위해 세포의 정보와 상호작용을 설명할 수 있는 그래프를 통해 설명한다. 근데 또 이러한 그래프 기반의 연구에도 한계가 있다. 세포와 조직간의 게층을 활용할 수 없다는 점이다. 그래서 본 논문에서는 세포와 조직간의 계층적인 표현 방법을 활용하는 Hac-Net을 제안한다. 이는 세 단계로 구성되며, 작은 부분부터 큰 부분(tissue)까지 확인하는 network인데, 첫 번째로 preprocessing 단계에서는 색상 정규화를 진행하고, tissue detection과 nuclei detection을 진행한다. 두 번재 단계인 representation 단게에서는 S(cg→tg) : Cell Graph에서 Tissue Graph로 할당하기 위한 단계를 말한다. 그림으로 이해 해야지 알 수 있는 것 같다.. 그리고 마지막의 단계는 Hact Net 구성 단계이다. mult-scale representation을 구성하는 단계이다. 실험 결과로는 Cell graph(Low-level)와 Tissue graph(High-level)의 관계를 파악하는 것이 무척 중요하다는 점을 보여주고 있다. 또한 핵과 티슈 분포의 특성을 모두 활용한 Hact-Net이 다른 method 보다 좋은 성능을 보여줬다.