AI 모델의 정확도 향상시키기 GPT와 같은 AI 모델은 특정 시점까지만 공부된 특성(Pre-Trained)을 가진다. 예를 들어 GPT 3.5/4의 경우는 2021년 9월까지의 데이터만 학습한 상태여서 그 이후의 데이터는 잘 모르고 적절하게 자기가 가진 데이터를 조합해서 할루시네이션을 유발하기도 한다. 이를 극복하기 위해 3가지 기술이 사용된다. Fine Tuning이 방법은 기존의 기계 학습 기법으로 모델의 내부 가중치를 조정하여 특정 데이터에 맞게 모델을 조정하는 방법이다. 하지만 이 과정은 상당히 복잡하고 자원이 많이 소모된다. 이미 잘 배워온 GPT 다시 훈련시킨다고 생각하면 필요한 리소스가 얼마나 많을까? 생각만 해도 아득하다. 또한 폐쇄형의 모델에서는 불가능한 일일 수도 있다.결국 Fine ..
02. 기본 컨셉 2
AI 모델의 정확도 향상시키기 GPT와 같은 AI 모델은 특정 시점까지만 공부된 특성(Pre-Trained)을 가진다. 예를 들어 GPT 3.5/4의 경우는 2021년 9월까지의 데이터만 학습한 상태여서 그 이후의 데이터는 잘 모르고 적절하게 자기가 가진 데이터를 조합해서 할루시네이션을 유발하기도 한다. 이를 극복하기 위해 3가지 기술이 사용된다. Fine Tuning이 방법은 기존의 기계 학습 기법으로 모델의 내부 가중치를 조정하여 특정 데이터에 맞게 모델을 조정하는 방법이다. 하지만 이 과정은 상당히 복잡하고 자원이 많이 소모된다. 이미 잘 배워온 GPT 다시 훈련시킨다고 생각하면 필요한 리소스가 얼마나 많을까? 생각만 해도 아득하다. 또한 폐쇄형의 모델에서는 불가능한 일일 수도 있다.결국 Fine ..
2024.12.04