MoonNote

https://arxiv.org/pdf/2207.06010.pdf NeurIPS 2022에 accpet 되었고 Google Research 팀에서 쓴 논문이다. 제목부터 흥미가 가고 내용도 수학적인 부분보다는 실험적인 내용이라 읽기에 부담스럽지는 않았던 것 같다. 개인적으로 나도 molecular gnn으로 pretraining에 관한 연구를 했었기 때문에 어떤 내용일까 궁금했다. 3줄 요약 1. 2D-GNN (GIN, SAGE)을 사용하여, molecular representation에 대한 pretraining의 효과를 심도 있게 분석함 2. 알고 있던 통념과 다르게, pretraining의 효과는 미미한 것으로 나타남. 기존 연구들은 사실 cherry-picking 한 부분이 없지 않아 있다는 말 ..

Prompt Tuning for Graph Neural Networks (https://arxiv.org/abs/2209.15240) 2023년 ICLR에 제출 (accpet은 되지 않음) - 최근 널리 쓰이고 있는 (full) fine-tuning의 대안으로 Graph Prompt 방법을 제안함 - 기존의 pre-trained GNN model들에 대한 prompt tuning의 effectiveness를 보여주는 최초의 연구라고 주장함 - pre-trained GNN model의 parameter tuning 없이 graph-level transformation을 진행하는 graph prompt를 train함 - learnable pertubation을 donwstream graph의 feature ..

3줄 요약 - molecular 분야는 labeled data가 부족 - contrastive를 위한 augmentation 방법으로 atom masking, bond deletion, subgraph removal 제안 - Encoder로 5-layer GIN 사용 Contrastive Learning - SimCLR에서 제안한 NT-Xent (normalized temperature-scaled cross entropy) loss를 loss function 으로 사용 - cosine similarity 활용 Results Comment - 기존 Graph Contrastive Learning에서 Graph를 Molecule로 치환한 Idea 말고는 큰 novelty가 없는 것 같다. - augmena..

SchNet은 다음과 같은 3가지 단계를 거친다. - K: the number of hidden layers - continuous-filter convolution layer로 원자의 연속적인 postion을 모델링 할 수 있음 SchNet 실행 코드 def forward(self, batch_data): z, pos, batch = batch_data.z, batch_data.pos, batch_data.batch edge_index = radius_graph(pos, r=self.cutoff, batch=batch) row, col = edge_index dist = (pos[row] - pos[col]).norm(dim=-1) dist_emb = self.dist_emb(dist) v = self..

3줄 요약 - 2D molecular graph와 3D graph를 활용하여 contrastive learning - distance와 angle 정보를 2D, 3D 관점에서 모두 활용 - 기존 geometric GNNs들과 성능 차이가 꽤 많이 남(SGCN, MAT, DimeNet 등) Methods 1. Geometric Embedding - local distance(2D), 2D angle, global distance(3D), 3D angle을 구하기 위해 선행 연구에서 사용된 radial basis function(RBF)를 사용하였다. 2. Adaptive Geometric Message Passing (i) Node -> Edge Message Passing - edge를 구성하는 pair..

3줄 요약 - 분자의 물성을 예측하기 위해 다양한 feature들이 사용되고 있음 - 12가지 조합의 atom representation과 선행 연구에서 사용한 representation을 사용하여 성능을 비교함 - 표현이 많아질수록 성능이 좋아지는 경향이 있지만 의외로 aromaticity, ring, formal charge 정보는 제거하는 것이 좋았고 heavy neighbours 및 hydrogen 을 추가하면 좋은 성능이 나타나는 경향이 있었다. Comment GCN으로만 실험을 진행하였기 때문에 분자에 다양한 GNNs(GAT, GIN, SchNet, SGCN 등) 들로 실험을 하여 결과를 살펴볼 필요가 있다.

3줄 요약 - graph-level에서 Contrastive self-supervised learning(CSSL)을 적용한 논문 - node나 edge의 변경을 통해 augmentation한 positive pair를 구성하는 방식으로 contrastive learning을 진행함 - 기존 접근법 이외에, CSSL loss를 graph classification loss에 추가한 regularization을 적용하여 성능 향상을 이끌어냄 Background & Introduction - 비전 분야에서 특히 효과적으로 활용되고 있는 CSSL을 graph 분야에 사용한 논문이다. - 비전에서는 random crop, 색 변경, 회전 등으로 CSSL의 positive pair를 구성하는데, graph에서는 ..

의의 : 1-hop만 고려하던 기존의 GAT를 multi-hop으로 확장 방법 : Diffusion 개념을 이용하여 1-hop attention matrix를 multi-hop attention matrix로 변환 Reviewer1 Summary: 전통적인 GNN은 직접적인 이웃들을 통한 aggregate를 반복함으로써 multihop의 정보를 encoding하여 학습한다. Self-Attention module은 이웃의 정보를 선택적으로 aggregate한다. 하지만 현재의 self-attention mechanism은 직접적으로 연결된 neighbor만 고려한다는 한계점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 간접적으로 연결된 neighbor들의 attention score도 계산하는 모..