온디바이스 LLM이 바꾸는 프라이버시 — Tony의 기술적 도전

I 메신저 시장에서 가장 어려운 질문은 '내 메시지가 어디로 가는가'다. Tony는 이 질문에 가장 과감하게 답한 스타트업이다. 답은 단순하다 — '아무 데도 가지 않는다.'

Tony는 Llama 3.2 1B 모델을 양자화해 iPhone 15 이상에서 직접 구동한다. 메시지 분류, 요약, 답장 초안 생성 등 핵심 AI 기능 대부분이 기기 안에서 처리된다. 사용자의 채팅 내용은 단 한 줄도 외부 서버로 전송되지 않는다.

“당신의 메시지는 당신의 기기를 떠나지 않는다. 클라우드가 없는 AI 메신저의 기술적 베팅.”

이 접근은 결코 쉬운 베팅이 아니다. 클라우드 LLM 대비 모델 크기는 600배 가량 작고, 처리 속도와 품질에서 트레이드오프가 존재한다. Tony 팀은 친구별 톤 학습은 LoRA 어댑터로, 컨텍스트 요약은 전용 미세조정 모델로 풀어 정확도를 끌어올렸다.

내부 평가에서 '말투 정확도 95%, 친구가 알아차리는 비율 5% 미만'이라는 결과를 얻었다는 게 회사 설명이다. iCloud나 어떤 외부 서버에도 메시지 사본이 남지 않는다는 점은 Apple Intelligence와도 차별화된 지점이다.

WIRED와의 인터뷰에서 CTO는 '클라우드 AI는 본질적으로 신뢰 모델이지만, 메신저는 그것보다 더 사적인 공간이다. 우리는 그 공간을 클라우드와 분리해야 한다고 본다'고 말했다.