모두의 코딩

CLIP

은서파 — Sun, 22 Mar 2026 23:48:19 +0900

Transformer

은서파 — Fri, 20 Mar 2026 21:11:51 +0900

RESNet-18

은서파 — Wed, 18 Mar 2026 17:52:40 +0900

ResNet-18 — 아키텍처 소개

Deep Learning Architecture · CVPR 2016

ResNet-18

Residual Learning으로 Degradation Problem을 해결한 18층 합성곱 신경망.
Skip Connection이 어떻게 깊은 학습을 가능하게 하는지 단계별로 살펴봅니다.

18 layers 11.7M parameters 69.8% Top-1 ImageNet ILSVRC 2015 우승 계열

Overview

Layers

가중치를 가진 합성곱·완전연결 레이어 수

11.7M

Parameters

학습 가능한 파라미터 — VGG-16의 약 1/12 수준

1.8G

FLOPs

단일 추론에 필요한 부동소수점 연산 횟수

69.8%

Top-1 Accuracy

ImageNet 1000-class 단일 크롭 기준

핵심 문제 의식

왜 깊게 쌓으면 오히려 나빠졌는가?

Degradation Problem

레이어를 단순히 쌓기만 하면 일정 깊이부터 훈련 오차가 오히려 증가하는 현상이 나타났습니다. 과적합이 아닌, 최적화 자체가 어려워지는 문제였습니다.

이에 대한 해결책으로 잔차(residual: F(x))만 학습하도록 구조를 재설계했습니다. 만약 아무것도 배울 게 없다면 F(x) = 0이 되어 입력이 그대로 통과합니다.

잔차란 목표 출력 H(x)에서 입력 x를 뺀 차이, 즉 F(x) = H(x) − x 입니다. 레이어가 정답 전체를 처음부터 학습하는 대신, 현재 입력에서 얼마나 바뀌어야 하는지의 차이만 학습하면 되므로 최적화가 훨씬 쉬워집니다.

CIFAR-10 Test Error (%)

Plain-20

8.75%

Plain-56 ↑깊어짐

13.5%

ResNet-20

8.0%

ResNet-56 ↑깊어짐

6.0%

Plain은 깊을수록 악화 → ResNet은 깊을수록 개선

핵심 아이디어

Skip Connection

일반 네트워크는 레이어가 출력 H(x)를 직접 학습합니다. ResNet은 이를 F(x) + x 형태로 분리하여, 레이어가 잔차 F(x)만 학습하도록 합니다.

입력 x는 레이어를 건너뛰어 출력에 직접 더해집니다. 이 경로를 shortcut connection이라 합니다. 채널 수가 달라지는 경우 1×1 Conv로 차원을 맞춥니다(projection shortcut).

output = F(x) + x → ReLU

Projection Shortcut
shortcut은 x를 그대로 더하는 구조입니다. 그런데 레이어가 깊어지면서 채널 수가 변하면(예: 64 → 128) F(x)와 x의 크기가 달라져 덧셈이 불가능해집니다. 이때 shortcut에 1×1 Conv를 적용해 채널 수만 맞춰줍니다. 공간(가로·세로)은 그대로 두고 채널만 변환하는 가장 작은 커널입니다.

전체 구조

ResNet-18 Architecture

각 블록을 클릭하면 상세 정보를 확인할 수 있습니다.

Image

224×224×3

RGB 입력

Conv1

7×7, 64, s2

BN · ReLU

MaxPool s2

112→56×56×64

Layer 1 ×2

Conv 3×3, 64

↩ skip

Conv 3×3, 64

↩ skip

56×56×64

Layer 2 ×2

Conv 3×3, 128

↩ skip 1×1

Conv 3×3, 128

↩ skip

28×28×128

Layer 3 ×2

Conv 3×3, 256

↩ skip 1×1

Conv 3×3, 256

↩ skip

14×14×256

Layer 4 ×2

Conv 3×3, 512

↩ skip 1×1

Conv 3×3, 512

↩ skip

7×7×512

AvgPool

Global

FC 1000

Softmax

512 → 1000

Class

1000-way

분류 결과

Residual Block 시뮬레이터

F(x) + x 데이터 흐름

임의 입력값을 설정하고 ▶ 버튼으로 각 레이어를 단계별로 통과시켜 보세요.

입력값 x 설정

단계별 연산 로그

▶ 다음 단계 버튼을 눌러 데이터 흐름을 추적하세요.

레이어 상세 명세

Layer-by-Layer

Stage	출력 크기	구성	파라미터 수	비고
conv1	112×112×64	7×7, 64, stride 2 · BN · ReLU	9,408	초기 특징 추출
maxpool	56×56×64	3×3 MaxPool, stride 2	—
layer1	56×56×64	[3×3, 64] × 2 블록 × 2회	147,456	skip: identity
layer2	28×28×128	[3×3, 128] × 2 블록 × 2회	525,312	skip: 1×1 proj
layer3	14×14×256	[3×3, 256] × 2 블록 × 2회	2,099,200	skip: 1×1 proj
layer4	7×7×512	[3×3, 512] × 2 블록 × 2회	8,390,656	전체 파라미터 72%
avgpool	1×1×512	Global Average Pooling	—
fc	1000	Linear(512 → 1000)	513,000	분류 출력

모델 비교

ResNet 패밀리 & 주요 모델

정렬 기준

모델	Layers	Parameters	Top-1 Acc	Skip	특징

핵심 요약

01 · 이론적 기여

잔차 학습

Degradation 문제를 F(x) = H(x) − x 재정의로 해결. 100층 이상 네트워크 학습의 길을 열었습니다.

02 · 실용적 강점

경량 백본

11.7M 파라미터로 전이학습(Transfer Learning) 백본으로 가장 널리 사용되며, 엣지 디바이스에도 적합합니다.

03 · 후속 영향

현대 CNN의 기반

ResNeXt, DenseNet, EfficientNet 등 이후 등장한 대부분의 CNN 아키텍처가 Skip Connection 개념을 계승합니다.

CNN

은서파 — Wed, 18 Mar 2026 17:10:05 +0900

List Comprehension

은서파 — Sun, 15 Mar 2026 07:16:13 +0900

파이썬의 리스트 컴프리헨션(List Comprehension)은 기존 리스트나 반복 가능한 객체(Iterable)를 바탕으로 새로운 리스트를 간결하게 생성하는 문법입니다.

자바의 Stream API에서 .map().filter().collect(Collectors.toList())를 한 줄로 줄여놓은 것과 매우 유사합니다.

1. 기본 문법

가장 기본적인 형태는 반복문만 사용하는 것입니다.

# [표현식 for 항목 in 반복가능객체]
squares = [x**2 for x in range(5)]

# 결과: [0, 1, 4, 9, 16]

표현식(Expression): 새로운 리스트에 담길 값 (위 예제에선 x**2)
항목(Item): 반복 객체에서 꺼내온 개별 요소 (x)
반복가능객체(Iterable): 소스가 되는 객체 (range(5))

2. 조건을 추가할 때 (Filtering)

if문을 사용하여 특정 조건에 맞는 데이터만 골라낼 수 있습니다. 자바 스트림의 .filter() 역할입니다.

# [표현식 for 항목 in 반복가능객체 if 조건문]
even_numbers = [x for x in range(10) if x % 2 == 0]

# 결과: [0, 2, 4, 6, 8]

작동 순서: range에서 하나씩 꺼냄 -> if 조건 검사 -> 참이면 리스트에 추가.

3. 조건을 변경할 때 (If-Else / Mapping)

값에 따라 다른 결과를 넣고 싶을 때는 if-else 문을 표현식 자리(앞쪽)에 씁니다. 이는 파이썬의 삼항 연산자 문법을 활용하는 것입니다.

# [참일때값 if 조건문 else 거짓일때값 for 항목 in 반복가능객체]
result = ["Pass" if score >= 60 else "Fail" for score in [50, 80, 45, 90]]

# 결과: ['Fail', 'Pass', 'Fail', 'Pass']

주의: 필터링용 if는 맨 뒤에 오지만, 값을 선택하는 if-else는 반드시 맨 앞에 와야 합니다.

4. 중첩 반복문 (Nested For Loop)

리스트 안에 여러 개의 for문을 사용할 수 있습니다. 왼쪽에서 오른쪽 순서로 중첩됩니다.

# 2차원 리스트(행렬)를 1차원으로 풀기 (Flatten)
matrix = [[1, 2], [3, 4], [5, 6]]
flatten = [val for row in matrix for val in row]

# 결과: [1, 2, 3, 4, 5, 6]

# 위 코드는 아래의 일반 for문과 동일하게 작동합니다.
# for row in matrix:
#     for val in row:
#         flatten.append(val)

5. 중첩 리스트 생성 (Nested Comprehension)

리스트 안에 또 다른 리스트 컴프리헨션을 넣을 수 있습니다.

# 3x3 행렬 만들기
matrix = [[j for j in range(3)] for i in range(3)]

# 결과: [[0, 1, 2], [0, 1, 2], [0, 1, 2]]

6. 다른 데이터 타입도 가능합니다

문법 구조는 비슷하지만 괄호의 종류에 따라 결과 데이터 타입이 달라집니다.

Set 컴프리헨션: 중복 제거가 필요할 때
```
{x % 3 for x in range(10)} # 결과: {0, 1, 2}
```

Dict 컴프리헨션: 키-값 쌍을 만들 때

{x: x**2 for x in range(3)} # 결과: {0: 0, 1: 1, 2: 4}

Generator 표현식: 메모리를 아끼기 위해 (소괄호 사용)

gen = (x**2 for x in range(1000000)) # 당장 리스트를 만들지 않고 대기함

실무적인 조언

가독성 우선: 컴프리헨션이 너무 길어지거나 중첩이 3단계 이상 넘어가면 일반 for문으로 작성하는 것이 동료(혹은 미래의 나)를 위한 길입니다.
디버깅: 컴프리헨션 내부는 중단점(Breakpoint)을 찍기 어렵습니다. 로직이 복잡하면 별도의 함수로 빼서 호출하는 방식을 권장합니다.
성능: 일반 append 방식보다 리스트 컴프리헨션이 내부적으로 더 빠르게 최적화되어 작동합니다. 단순 생성/필터링 작업에는 적극적으로 사용하세요.

Java 개발자라면?
list.stream().filter(x -> x > 5).map(x -> x * 2).collect(Collectors.toList())
이 구문을 보실 때마다
[x * 2 for x in list if x > 5] 를 떠올리시면 됩니다!

LLM의 Role 정리

은서파 — Sat, 14 Mar 2026 07:08:06 +0900

LLM 샘플링 파라미터

은서파 — Sat, 14 Mar 2026 06:52:32 +0900

RNN vs LSTM

은서파 — Fri, 13 Mar 2026 15:34:41 +0900

RNN & Seq2Seq 시각화

은서파 — Fri, 13 Mar 2026 10:44:26 +0900

WordPieceTokenizer

은서파 — Thu, 12 Mar 2026 23:03:48 +0900