MoonNote

pytoch에서 train dataset을 validaion set 으로 split 해야할 때가 있다. MNIST 데이터셋을 예로 들면 train_dataset = datasets.MNIST('../data', train=True, download=True, transform=transform) test_dataset = datasets.MNIST('../data', train=False, transform=transform) train_dataset, val_dataset = torch.utils.data.random_split(train_dataset, [50000, 10000]) 과 같이 나누어줄 수 있다. print(len(train_dataset)) print(len(val_dataset)) p..

www.deeplearning.ai](https://www.deeplearning.ai/ai-notes/initialization/index.html#I) 의 내용을 최대한 번역한 내용이다. I The importance of effective initialization 머신러닝 알고리즘을 설계하기 위해서는, 모델의 아키텍쳐(Logistic regression, Support Vector Machine, Neural Network 등) 를 정의한 후에 파라미터를 학습하도록 훈련시킨다. 파라미터들 초기화시킨다. optimization algorithm(Adam, Momentum, Batch Gradient Descent 등)을 선택한다 다음 과정을 반복한다.: input을 propagate 한다. cost..

다음과 같은 모델을 선언하였을 때, 모델의 아키텍쳐를 확인할 수 있다 이 모델은 bias=False 로 설정했기 때문에 bias가 모델에 포함되지 않았다. model = Net(args) print(model.state_dict().keys()) odict_keys(['layers.0.lin.weight', 'layers.1.lin.weight', 'layers.2.lin.weight', 'layers.3.lin.weight', 'layers.4.lin.weight', 'layers.5.lin.weight', 'layers.6.lin.weight', 'layers.7.lin.weight', 'layers.8.lin.weight', 'layers.9.lin.weight']) layer 10개 중 3~8번째..

- Linear model 이란 직선이 boundary가 되어 classification을 해결하거나 input과 output 사이의 관계가 선형인 모델을 말한다. - 목차 순서와는 다르게 Appendix부터 시작 - 제약 조건을 만족하는 최적화 문제를 constrained optimization problem이라고 한다. - 한 번에 해결하기 위해 objective function과 제약식을 하나로 묶는 방법 - 제약식들을 더하되, 앞에 coefficient를 추가한다. 이를 Lagrange multipliers (또는 KKT multipliers)라고 한다. - 이를 합친다는 것의 의미는 제약을 penalty로 치환하는 것과 같다. 예를 들어, g(x)가 0이 아닌 양수면 $\lambda$를 특정 양..

log_loss(y_true.cpu(), y_pred.cpu()) 에 log_loss(y_true.cpu(), y_pred.cpu(), eps=1e-6)) 추가

edwith에서 들을 수 있는 인공지능을 위한 선형대수(주재걸 교수님) 강의를 들으면서 복습한 내용입니다. - Least Square: 선형방정식을 다루는 상황에서 방정식의 갯수가 미지수의 갯수보다 많을 때 - 수집한 샘플이 feature의 수보다 많다. - 100개의 방정식을 3개의 변수만으로 만족시키는 것은 어렵다. 제약 조건이 지나치게 많다 - 보통의 경우 solution이 없다. - vector는 3개, 밑으로 늘어나면 3개가 살고 있는 공간이 매우 큼 - 100 dimension에서 해가 존재하려면 상수벡터인 b vector가 3개의 vector의 span 안에 들어와야함 - 3개의 vector 만으로 span할 수 있는 공간에 100 dimension에서 매우 작은 일부분이기 때문에 b vec..

edwith에서 들을 수 있는 인공지능을 위한 선형대수(주재걸 교수님) 강의를 들으면서 복습한 내용입니다. - ONTO: 공역 = 치역 (치역은 공역의 부분집합), 전사라고도 함 - 정의역의 개수가 공역보다 더 많을 때 ONTO일 가능성이 커짐 - 공역에 mapping되는 정의역의 원소가 최소 하나는 존재해야한다. - 학습된 선형변환에 의해서 출력되는 결과가 치역, 640x480x3이 공역이 될 수 있음 (가능한 모든 픽셀 조합) - 실제 데이터가 존재할 법한 구불구불한 평면(치역, sub 공간)을 manifold라고 부름 - 3차원에서 2차원으로 갈 때는 one-to-one이 될 수 없음 - 3차원 공간에 vector가 4개 주어져 있을 때 무조건 linearly dependent한 것을 알 수 있다...

edwith에서 들을 수 있는 인공지능을 위한 선형대수(주재걸 교수님) 강의를 들으면서 복습한 내용입니다. - 선형 변환을 통해 좌표가 변경되는 개념 - 4개의 dimension을 가진 input layer - bias term이 일반적으로 추가되어있음 - 상수가 더해진 경우를 affine transformation 라고 함 - 1을 추가해주는 경우는 trick을 통해 linear transformation으로 만들 수 있음 - linear combination coefficient - 많은 경우 bias term은 input으로 쓰이는 feature vector의 처음 또는 마지막 dimension에 1을 끼워넣고 선형 변환을 통해 해결 - 입력 정보가 기하학적으로 basis(column) vector..