MoonNote

[2023] 단백질 구조 모델링 수업을 들으면서 간략하게 정리한 내용이다. - 1차구조: 단백질을 구성하는 20개의 amino acid (aa)들이 어떤 순서로 연결되어 있는지 1차원적인 배열 순서를 의미 - 2차구조: a-heix와 b-sheet 구조, 단백질 3차원 구조 안에서 자주 나타나는 패턴(motif) - 3차구조: a-heix와 b-sheet 가 적절히 모이고 접혀서 unique한 구조를 가지게 됨 - 4차구조: 3차구조가 모이면 4차구조 - 단백질을 구성하는 aa 20가지가 존재 - aa가 몇 개 연결된 chain을 peptide - peptide가 길게 연결이 되어 고유한 구조로 접히게 되면 protein이라고 함 - aa이 특정 서열로 연결되어 solution 상에 고유한 구조를 가지게..

pytoch에서 train dataset을 validaion set 으로 split 해야할 때가 있다. MNIST 데이터셋을 예로 들면 train_dataset = datasets.MNIST('../data', train=True, download=True, transform=transform) test_dataset = datasets.MNIST('../data', train=False, transform=transform) train_dataset, val_dataset = torch.utils.data.random_split(train_dataset, [50000, 10000]) 과 같이 나누어줄 수 있다. print(len(train_dataset)) print(len(val_dataset)) p..

https://arxiv.org/pdf/2207.06010.pdf NeurIPS 2022에 accpet 되었고 Google Research 팀에서 쓴 논문이다. 제목부터 흥미가 가고 내용도 수학적인 부분보다는 실험적인 내용이라 읽기에 부담스럽지는 않았던 것 같다. 개인적으로 나도 molecular gnn으로 pretraining에 관한 연구를 했었기 때문에 어떤 내용일까 궁금했다. 3줄 요약 1. 2D-GNN (GIN, SAGE)을 사용하여, molecular representation에 대한 pretraining의 효과를 심도 있게 분석함 2. 알고 있던 통념과 다르게, pretraining의 효과는 미미한 것으로 나타남. 기존 연구들은 사실 cherry-picking 한 부분이 없지 않아 있다는 말 ..

www.deeplearning.ai](https://www.deeplearning.ai/ai-notes/initialization/index.html#I) 의 내용을 최대한 번역한 내용이다. I The importance of effective initialization 머신러닝 알고리즘을 설계하기 위해서는, 모델의 아키텍쳐(Logistic regression, Support Vector Machine, Neural Network 등) 를 정의한 후에 파라미터를 학습하도록 훈련시킨다. 파라미터들 초기화시킨다. optimization algorithm(Adam, Momentum, Batch Gradient Descent 등)을 선택한다 다음 과정을 반복한다.: input을 propagate 한다. cost..

보호되어 있는 글입니다.

다음과 같은 모델을 선언하였을 때, 모델의 아키텍쳐를 확인할 수 있다 이 모델은 bias=False 로 설정했기 때문에 bias가 모델에 포함되지 않았다. model = Net(args) print(model.state_dict().keys()) odict_keys(['layers.0.lin.weight', 'layers.1.lin.weight', 'layers.2.lin.weight', 'layers.3.lin.weight', 'layers.4.lin.weight', 'layers.5.lin.weight', 'layers.6.lin.weight', 'layers.7.lin.weight', 'layers.8.lin.weight', 'layers.9.lin.weight']) layer 10개 중 3~8번째..

Cora 데이터셋의 adjacency matrix를 사용해서 normalize 해보려고 한다. import numpy as np from torch_geometric.datasets import Planetoid from torch_geometric.transforms import NormalizeFeatures from torch_geometric.utils import to_dense_adj dataset = Planetoid(root='data/Planetoid', name='Cora', transform=NormalizeFeatures()) 원래 torch geometric에서는 따로 adjacency matrix가 주어지지 않고, edge_index라는 다른 matrix로 변환한 형태가 주어진다..

Prompt Tuning for Graph Neural Networks (https://arxiv.org/abs/2209.15240) 2023년 ICLR에 제출 (accpet은 되지 않음) - 최근 널리 쓰이고 있는 (full) fine-tuning의 대안으로 Graph Prompt 방법을 제안함 - 기존의 pre-trained GNN model들에 대한 prompt tuning의 effectiveness를 보여주는 최초의 연구라고 주장함 - pre-trained GNN model의 parameter tuning 없이 graph-level transformation을 진행하는 graph prompt를 train함 - learnable pertubation을 donwstream graph의 feature ..