학습(Training)이란
학습은 신경망이 대량의 데이터를 반복적으로 통과시키며, 각 뉴런 연결의 가중치를 조금씩 조정해 정답에 가까워지도록 만드는 과정입니다. 계산량이 매우 크고, 보통 다수의 GPU를 동원해 며칠에서 몇 주씩 걸리기도 합니다.
추론(Inference)이란
추론은 이미 학습이 끝난 모델에 새로운 입력을 넣어 결과(예측, 생성)를 얻어내는 과정입니다. 학교 교육에 비유하면, 학습은 "공부하는 과정"이고 추론은 "배운 것을 실제로 활용해 문제를 푸는 것"에 해당합니다.
왜 이 구분이 중요한가
- 필요한 하드웨어가 다름: 학습은 대규모 GPU 클러스터가 필요하지만, 추론은 상대적으로 가벼운 자원으로도 가능한 경우가 많음
- 비용 구조가 다름: 학습은 일회성(또는 주기적) 대규모 투자, 추론은 서비스 운영 내내 지속되는 비용
- 최적화 방향이 다름: 학습은 정확도·수렴 속도가 중요하고, 추론은 응답 지연시간·처리량(throughput)이 중요
실무에서의 시사점
서비스를 설계할 때 "지금 우리가 하려는 게 학습인지 추론인지"를 먼저 명확히 해야, 그에 맞는 하드웨어 규모와 비용을 제대로 산정할 수 있습니다.