추론칩
추론칩은 학습이 완료된 인공지능 모델이 입력을 처리해 예측·판단·생성 결과를 내도록 최적화한 반도체다.
한 입에 정리하면
- 01모델 학습보다 서비스 단계 연산에 초점
- 02낮은 지연시간과 전력 효율이 핵심 경쟁력
- 03데이터센터부터 기기 내 AI까지 활용 가능
왜 나온 말일까요?
인공지능은 대량의 데이터로 모델을 만드는 학습 단계와, 완성된 모델을 실제 질문·이미지·음성 등에 적용하는 추론 단계로 나뉘어요. 추론칩은 이 가운데 이용자에게 응답을 제공하는 추론 작업을 빠르고 적은 전력으로 처리하도록 설계돼요. 생성형 AI 서비스가 널리 쓰이면서 동시에 많은 요청을 처리하는 비용과 응답 속도가 중요해져, 범용 그래픽처리장치(GPU) 외에 추론에 특화한 반도체의 역할도 커지고 있어요.
예를 들어
예를 들어 챗봇이 사용자의 질문을 받은 뒤 학습된 언어 모델을 실행해 다음 단어들을 계산하고 답변을 생성하는 과정에 추론칩이 쓰일 수 있어요.
이 용어가 나온 이슈
체리픽이 기사 원문이 아닌 사실관계를 바탕으로 쉽게 풀어 쓴 정의예요. 원문은 각 카드의 "더 읽기"에서 확인할 수 있어요.
용어사전으로 돌아가기