AI 추론
AI 추론은 학습을 완료한 인공지능 모델이 새로 입력된 데이터를 처리해 예측·분류·생성·판단 결과를 산출하는 실행 단계이다.
한 입에 정리하면
- 01훈련과 달리 학습된 지식을 실제 요청에 적용해요
- 02응답 속도·비용·전력 효율이 서비스 품질을 좌우해요
- 03텍스트·이미지·음성 등 다양한 입력의 결과를 만들어요
왜 나온 말일까요?
AI 시스템은 대체로 데이터를 이용해 모델의 규칙과 매개변수를 만드는 ‘학습’ 단계와, 완성된 모델을 실제로 사용하는 ‘추론’ 단계로 나뉘어요. 이용자가 챗봇에 질문을 하거나 사진 분석을 요청하면 모델은 입력을 바탕으로 여러 계산을 수행해 다음 단어, 분류 결과, 추천 내용 등을 내놓죠. 많은 사람이 동시에 서비스를 이용할수록 추론에 필요한 서버·반도체·전력 규모가 커지므로, 빠르고 효율적인 추론 처리 능력은 AI 서비스 운영에서 중요한 요소예요.
예를 들어
예를 들어 생성형 AI 챗봇이 사용자의 질문을 받아 문맥에 맞는 답변 문장을 만들어 내는 과정은 AI 추론에 해당해요.
이 용어가 나온 이슈
체리픽이 기사 원문이 아닌 사실관계를 바탕으로 쉽게 풀어 쓴 정의예요. 원문은 각 카드의 "더 읽기"에서 확인할 수 있어요.
용어사전으로 돌아가기