본문 바로가기

Prev Contents

 (107)
[그림으로 배우는 딥러닝] 19장. 순환 신경망 (737~774p) 19장. 순환 신경망 순서가 중요한 여러 샘플로 작업할 때 이를 시퀀스라고 한다. 시퀀스로 작업할 때 입력의 각 요소를 토큰이라고 한다. 토큰은 단어 또는 단어의 조각, 측정값 혹은 숫자로 나타낼 수 있는 모든 것을 나타낸다. 언어 다루기 언어에 대한 실제 이해에 관심이 없다. 대신 데이터에서 통계를 추출해 질문에 답하거나 텍스트를 생성하는 것을 작업의 기초로 사용한다. CNN이 사진에 대한 실제 이해 없이도 사진의 객체를 인식할 수 있듯이, 조작하는 언어를 이해하지 못해도 단어에 숫자를 할당하고 해당 숫자 사이의 유용한 통계적 관계를 찾는다. 일반적인 자연어 처리 작업 인기 있는 작업 중 몇 가지로, 감성분석, 번역, 질의 응답, 요약 또는 질의 확장, 새로운 텍스트 생성 시작, 그리고 논리적 흐름 분..
[그림으로 배우는 딥러닝] 18장. 오토인코더 (677~736p) 18장. 오토인코더 훈련을 통해 입력 데이터를 가장 잘 인코딩하고 다시 복원하는 방법을 자동으로 학습한다. 데이터 세트의 노이즈를 제거하고, 데이터 세트의 차원을 줄인다. 인코딩 소개 데이터를 압축하거나 데이터를 저장하는 데 필요한 메모리양을 줄이는 작업을 인코딩 (Encoding)이라고 한다. 비손실 인코딩과 손실 인코딩 원본 버전과 압축 해제 버전 간의 불일치가 클수록 손실도 커진다. 원래 메시지를 정확하게 복원할 수 있다 - 무손실 변환 변환이 손실인지 무손실인지 테스트하려면 변환이 원래 데이터를 복구하고자 되돌릴 수 있는지를 고려하면 된다. 표현 혼합하기 데이터를 혼합하는 방법 두 가지 중, content blending, parametric blending의 방법이 있다. 압축된 표현을 혼합한다..
[그림으로 배우는 딥러닝] 17장. 실제 컨볼루셔널 신경망 (651~676p) 17장. 실제 컨볼루셔널 신경망 손글씨 분류 그림 17-1 참조 link VGG16 필터 시각화 1부 경사 하강법을 기반으로 정확히는 경사 하강법을 거꾸로 적용하여 기울기 상승을 만들어 내고자 경사 하강을 뒤집어 기울기를 상승시키고 시스템 오차를 증가시키는 데 사용 시각화하려는 특정 필터에서 나오는 피처 맵을 추출하는 것이 목적 사실 글로만 설명되어서 이해가 안 된다... 필터 시각화 2부 VGG16에 새로운 이미지를 입력하고 필터에서 나오는 피처 맵을 살펴 보면서 무엇을 찾고, 학습하고 있는 지를 추적할 수 있다. 적대 사례 원래 이미지에 적대적 섭동 adversarial perturbation을 추가해 분류기를 엉망으로 만들 수 있다. 요약 MNIST VGG16 Adversary
[그림으로 배우는 딥러닝] 16장. 컨볼루셔널 신경망 (593~649p) 16장. 컨볼루셔널 신경망 Refer Example of CNN 1) Sun, Y., X. Wang, and X. Tang. 2014. "Deep Learning Face Representation from Predicting 10,000 Classes." Conference paper for the 2014 IEEE Conference on Computer Vision and Pattern Recognition 1891-8 2) Esteva, Andre, Brett Kuprel, Roberto A. Novoa, Justin Ko, Susan M, Swetter, Helen M, Blau, and Sebastian Thrun. 2017, "Dermatologist-Level Classification o..
[그림으로 배우는 딥러닝] 15. 옵티마이저 (537~589p) 15장. 옵티마이저 경사 하강을 더 빠르게 하고, 최적의 학습률을 찾는 작업을 자동화하는 알고리즘의 총칭을 옵티마이저라 한다. 2D 곡선 오차 학습률 조정 항상 그래디언트의 방향으로 움직인다면 항상 내리막으로 가는 것과 같다. 일정한 크기로 업데이트 학습률을 너무 작게 설정하면 정해진 스텝 내에 가장 작은 오차를 찾아 내지 못하고, 너무 크면 지나쳐 버려서 영원히 찾지 못할 수 있다. 좋은 대안은 계속해서 학습률을 변화시키는 것이다. 시간에 따라 학습률을 변화 큰 학습률로 시작해 점차적으로 감소시키는 방법 중 하나는 1에 아주 가까운 숫자를 매 스텝마다 기존 학습률에 곱해서 새 학습률을 만드는 것이다. - 지수적 감쇠 (exponential decay) 감쇠 스케줄 1) 감쇠 파라미터의 값을 정해줘야 한..
[그림으로 배우는 딥러닝] 14장. 역전파 (487~535p) 14장. 역전파 높은 수준에서의 훈련 개요 네트워크는 실수를 최소화하면서 학습한다. 프로세스는 각 실수에 대한 비용 (cost), 손실 (loss), 페널티 (penalty)라는 계산된 숫자로 시작한다. 오차 처벌하기 레이블과 예측값 사이의 불일치를 설명, 일반적으로 개별 오차의 합계인 전체 훈련 데이터 세트에 대한 총 오차를 최소화하는 것이다. 가중치가 작은 범위에서 너무 멀어지면 이를 강제하고자 큰 값을 갖는 오차 항을 포함할 수 있다. - 일반화 (regularization) 학습을 위한 느린 방법 전체 네트워크에서 무작위로 하나의 가중치를 선택하고 변경되지 않도록 다른 모든 값을 고정 새 오차가 이전 오차보다 적으면 상황을 개선하고 이 변경 사항을 유지 다음 샘플을 선택하고 가중치를 다시 조정 이..
[엑셀이 편해지는 파이썬] 12장. 사용자 정의 함수 (327~359p) 12장. 사용자 정의 함수¶아직 macOS에서 user-defined function (UDF)를 지원하지 못하여 실행할 수 없다. 12.1 UDF 시작하기¶1) 애드인 - 배포에 필수는 아니지만 2) VBA 프로젝트 개체 모델에 안전하게 엑세스할 수 있음 체크 박스 활성화 12.1.1 UDF 빠른 시작¶윈도우의 엑셀 - 엑셀윙스 애드인에서 Import Functions 버튼 활성화 이 때 백그라운드에서 파이썬이 실행 중이며, 파이썬 스크립트에 정의한 함수를 불러들여 엑셀에서 사용 가능하다. In [ ]: # UDF 스크립트 파일의 예 # 윈도우용 엑셀 전용으로 macOS에서는 아직 구현이 안 되었다. import xlwings as xw @xw.func def hello(name): return f"H..
[엑셀이 편해지는 파이썬] 11장. 파이썬 패키지 추적기 (293~326p) 11장. 파이썬 패키지 추적기¶11.1 우리가 만들 프로그램¶packagetracker 디렉터리 내의 packagetracker.xlsm 파일을 열어 보자. 11.2 핵심 기능¶11.2.1 웹 API¶GET 요청 - 브라우저는 서버에 해당 웹 페이지를 요청, 혹은 데이터를 요청 (json 형태로 받을 수 있다.) POST 요청 - 웹 페이지에 연락처 정보를 입력하는 등 서버에 데이터를 보낼 때 사용 json 모듈: 파이썬 딕셔너리를 json 문자열로 그 반대도 가능 REST API - 웹 API라는 용어 대신 자주 쓰이며, 상태가 없는 자원의 형태로 정보에 접근한다. 상태가 없다는 것은 REST API에 보내는 정보는 항상 완전히 독립적이며, 뭘 요청하는지 항상 조목조목 세세히 전달해야 한다는 뜻이다. ..

티스토리툴바