온디바이스 AI란
온디바이스(엣지) AI는 스마트폰, IoT 센서, 카메라 등 현장의 기기 안에서 직접 AI 추론을 수행하는 방식입니다. 클라우드 서버까지 데이터를 보내고 결과를 받아오는 과정을 생략합니다.
클라우드 AI와의 차이
- 지연시간: 네트워크 왕복이 없어 실시간 응답이 가능
- 프라이버시: 원본 데이터를 외부로 전송하지 않아도 됨
- 네트워크 의존성: 인터넷 연결이 불안정한 환경에서도 동작 가능
- 비용 구조: 클라우드 추론 비용 대신 기기 하드웨어 성능에 투자
활용 사례
제조 현장의 실시간 설비 이상 감지, 의료 기기의 즉각적인 신호 분석, 소매 매장의 재고·행동 분석 카메라 등 지연시간에 민감하거나 네트워크가 불안정한 환경에서 특히 유용합니다.
한계
기기 자원(연산력, 메모리, 전력)이 제한적이기 때문에, 클라우드에서 쓰는 대형 모델을 그대로 올릴 수는 없고 경량화(양자화, 프루닝 등)된 모델을 써야 하는 경우가 많습니다.
클라우드와의 역할 분담
실무에서는 온디바이스에서 즉각적인 1차 처리를 하고, 더 무거운 분석이나 모델 재학습은 클라우드에서 처리하는 하이브리드 구조로 설계하는 경우가 많습니다.