NightFury

『밑바닥부터 시작하는 딥러닝』 Chapter 4. 신경망 학습 사이토 고키, 『밑바닥부터 시작하는 딥러닝』, 개앞맵시, O'Reilly-한빛미디어(2017), p107-146. 기계학습 문제: 훈련 데이터를 대한 손실 함수의 값을 구하고, 그 값을 줄여주는 매개변수를 찾아냄학습: 훈련 데이터(train data)로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것평가: test data를 활용하여 모델의 범용 능력을 검증범용 능력: 아직 보지 못한 데이터(훈련 데이터에 포함 X)로 문제를 올바르게 풀어내는 능력오버피팅(overfitting): 한 데이터셋에만 지나치게 최적화된 상태 손실 함수(loss function): 신경망이 학습할 수 있도록 해주는 지표학습의 목표는 손실 함수의 결괏값을 가장 작게 만드는 가중치 매개변수를 찾는 것신경망 학습에서는 최적의 매개.. 2024.12.22
『밑바닥부터 시작하는 딥러닝』 Chapter 3. 신경망 사이토 고키, 『밑바닥부터 시작하는 딥러닝』, 개앞맵시, O'Reilly-한빛미디어(2017), p63-106. 활성화 함수(activation function): 입력 신호의 총합을 출력 신호로 변환하는 함수신경망에서는 활성화 함수로 비선형 함수를 사용해야 함선형 함수를 이용하면 신경망의 층을 깊게 하는 의미가 없어짐출력층의 활성화 함수는 풀고자 하는 문제의 성질에 맞게 정의회귀: 항등 함수 ➡️ 입력 그대로 출력이진 클래스 분류: 시그모이드 함수다중 클래스 분류: 소프트맥스 함수 활성화 함수 종류계단 함수(step function): 임계값을 경계로 출력이 바뀜시그모이드 함수(sigmoid function) $h (x) = \frac{1}{1 + e x p (- x)}$ ReLU(Rectified Linear.. 2024.12.19
『밑바닥부터 시작하는 딥러닝』 Chapter 2. 퍼셉트론 사이토 고키, 『밑바닥부터 시작하는 딥러닝』, 개앞맵시, O'Reilly-한빛미디어(2017), p47-62. 퍼셉트론: 다수의 신호를 입력으로 받아 하나의 신호를 출력뉴런에서 보내온 신호의 총합이 임계값을 넘어설 때만 1을 출력단층 퍼셉트론(single-layer perceptron)으로는 비선형 영역을 분리할 수 없음다층 퍼셉트론(multi-layer perceptron)으로 해결 가능논리 회로AND gate: 입력이 모두 1일 때만 1을 출력NAND gate: Not AND, 입력이 모두 1일 때만 0을 출력OR gate: 입력 중 하나 이상이 1이면 1을 출력XOR gate: 입력 중 한쪽이 1일 때만 1을 출력NAND, OR, AND를 활용하여 구할 수 있음매개변수: 시스템이나 함수의 특정한 성.. 2024.12.16
『밑바닥부터 시작하는 딥러닝』 Chapter 1. 헬로 파이썬 사이토 고키, 『밑바닥부터 시작하는 딥러닝』, 개앞맵시, O'Reilly-한빛미디어(2017), p25-45. 자료형: 데이터의 성질을 나타내는 것동적: 변수의 자료형을 상황에 맞게 자동으로 결정 생성자(__init__; constructor): 클래스를 초기화하는 방법을 정의인스턴스 변수: 인스턴스별로 저장되는 변수 브로드캐스트: 스칼라값이 넘파이 배열의 원소별로 한 번씩 수행되는 계산텐서: 벡터와 행렬을 일반화한 것 code: https://github.com/WegraLee/deep-learning-from-scratch/tree/master 2024.12.13
『Apache Airflow 기반의 데이터 파이프라인』 Chapter 5. 태스크 간 의존성 정의하기 바스 하렌슬락, 율리안 더라위터르, 『Apache Airflow 기반의 데이터 파이프라인』, 김정민, 문선홍, MANNING-제이펍(2022), p87-115. 의존성 유형선형 체인(linear chain) 유형: 연속적으로 실행되는 작업오른쪽 비트 시프트 연산자(>>)를 사용하여 태스크 간의 의존성을 만들 수 있음여러 태스크에서 순서가 명확하게 정의되는 장점이 있음join_datasets >> train_model >> deploy_model 팬인/팬아웃(Fan-in/Fan-out) 유형: 하나의 태스크가 여러 다운스트림 태스크에 연결되거나 그 반대의 동작을 수행하는 유형Fan-in: 다대일 구조Fan-out: 일대다 구조# Fan-instart = DummyOperator(task_id="start".. 2024.12.10
『Apache Airflow 기반의 데이터 파이프라인』 Chapter 4. Airflow 콘텍스트를 사용하여 태스크 템플릿 작업하기 바스 하렌슬락, 율리안 더라위터르, 『Apache Airflow 기반의 데이터 파이프라인』, 김정민, 문선홍, MANNING-제이펍(2022), p62-86. 데이터 검사파이프라인을 구축하기 전에 접근 방식에 대한 기술적 계획을 세우는 것이 중요구축 목적 확인데이터 빈도, 형식, 소스 유형 검사데이터 증분 방식으로 적재하는 방법과 데이터를 다루는 방법 이해 필요 템플릿 작업예시: 위키피디아 페이지 뷰 수 >> zip 다운로드 >> zip 압축 풀기 >> 한 시간 동안 페이지 뷰 수 추출런타임 시 삽입될 변수 ➡️ 이중 괄호 사용 {{ }} (Jinja 템플릿 문자열)Jinja: 런타임 시에 템플릿 문자열의 변수와 and 및 or 표현식을 대체하는 템플릿 엔진execution_date: task conte.. 2024.12.07
티스토리(tstory) 수식 삽입 인라인: e. g. $x = 1$ $. .$ 블록: e. g. $x = 1$ $. .$ 2024.12.04
『SQL로 시작하는 데이터 분석』 후기 추천 독자SQL 초급자: 전반적인 내용을 훑어보기에 좋습니다.SQL 중/상급자: 알고 있는 내용을 정리하기에 좋았고, 개인적으로 몰랐던 기능들을 몇 가지 알아서 좋았습니다.이미 실력이 있으시기 때문에, 내용의 디테일이 보이실 겁니다. 재밌게 읽었습니다.개념도 잘 설명하고, 곳곳마다 코드가 있어서 어떻게 적용하는지 확인하기도 쉬웠습니다.또한 저자의 경험을 설명하는 내용들이 있었는 데, 공감도 되고 새로운 부분은 즐겁게 배웠습니다. 이전에 배웠던 내용이어도 다시 보면 늘 새롭고 재밌네요.BA(Business analyst), DA(Data analyst), PA(Product analyst) 모두에게 도움이 되는 책 같습니다. 2024.11.30
『SQL로 시작하는 데이터 분석』 Chapter 9. 결론 캐시 타니무라, 『SQL로 시작하는 데이터 분석』, 박상근, 한빛미디어-OREILLY(2022), p415-428. 퍼널 분석퍼널: 특정 목적을 달성하기 위해 거쳐야 하는 여러 단계단계별로 전환율을 분석SELECT count(a.user_id) as all_users,count(b.user_id) as step_one_users,count(b.user_id) / count(a.user_id) as pct_step_one,count(c.user_id) as step_two_users,count(c.user_id) / count(b.user_id) as pct_one_to_twoFROM users aLEFT JOIN step_one b on a.user_id = b.user_idLEFT JOIN step_t.. 2024.11.30
『SQL로 시작하는 데이터 분석』 Chapter 8. 복잡한 데이터셋 생성 캐시 타니무라, 『SQL로 시작하는 데이터 분석』, 박상근, 한빛미디어-OREILLY(2022), p375-413. ETL 데이터 저장소 활용장점성능: 예약된 시간에 백그라운드에서 실행되기 때문에 간편함 (e. g. daily snapshot table)가시성: 조직 내의 다른 사람이 쿼리를 찾아 로직을 확인하고 적절히 활용하기가 용이함 단점최신성: 새로운 데이터가 원본 테이블에 들어와도 ETL이 실행될 때까지 최신 데이터 활용 불가능원본 테이블에서 조회 시, 오래전에 추가된 레코드까지 가져오려면 쿼리 실행 시간이 늘어남서브쿼리 or UNION을 사용해 원본 테이블과 ETL 테이블을 조합해서 분석에 활용하기도 함데이터 변경의 어려움: 한 번 ETL로 옮긴 데이터를 업데이트하거나 버그를 수정하려면, 코드 .. 2024.11.27

내 블로그 - 관리자 홈 전환	`Q` `Q`
새 글 쓰기	`W` `W`

글 수정 (권한 있는 경우)	`E` `E`
댓글 영역으로 이동	`C` `C`

이 페이지의 URL 복사	`S` `S`
맨 위로 이동	`T` `T`
티스토리 홈 이동	`H` `H`
단축키 안내	`Shift` + `/` `⇧` + `/`

NightFury

티스토리툴바

단축키

내 블로그

블로그 게시글

모든 영역