온디바이스 모델을 노트북에서 켜 보다 메모리에서 멈춘 실험

저는 2025년 3월부터 작은 온라인 쇼핑몰의 상품 등록과 고객 문의를 AI로 줄여 보려 했다. 처음에는 텍스트 상품 설명만 넣으면 상세 페이지가 알아서 완성될 거라 기대했지만, 결과는 어색한 문장과 틀린 규격 정보의 연속이었다. 특히 500g 제품을 5kg으로 바꿔 쓰는 오류가 세 번이나 발생해 고객에게 수정 안내를 보냈다. 그때 저는 AI의 성능보다 제가 어떤 자료를 넣고, 어디까지 확인할지 정하는 과정이 더 큰 차이를 만든다는 사실을 배웠다.

제가 멀티모달 AI를 제대로 써 본 계기는 2025년 6월 거래처에서 받은 PDF 카탈로그였다. 기존에는 표를 직접 복사해 엑셀에 옮겼고, 42쪽 자료를 처리하는 데 반나절이 걸렸다. 이미지와 표를 함께 읽는 도구에 카탈로그를 넣은 뒤에는 20분 만에 초안이 나왔지만, 표의 병합 셀 두 곳을 잘못 해석했다. 이후 저는 제품명, 단위, 공급가를 따로 검산하는 세 칸짜리 확인표를 만들었고, 작업 시간이 5시간에서 1시간 10분으로 줄었다.

1. 멀티모달 AI를 처음 믿었다가 생긴 문제

저는 이미지 속 정보를 읽는 AI라면 사진의 맥락까지 정확히 이해한다고 생각했다. 2025년 8월, 창고 선반 사진 180장을 넣고 재고 위치를 표시하게 했는데, 비슷한 포장지의 상품을 서로 바꿔 기록했다. 조명이 어두운 사진에서는 숫자 8을 3으로 읽기도 했다. 실제 재고와 대조하니 27개 품목 중 6개가 달랐고, 직원 한 명이 오후 내내 다시 세야 했다. 이후 촬영 거리와 조명을 일정하게 맞추고, AI 결과에는 신뢰도와 원본 사진을 함께 붙였다.

그 경험 뒤 저는 멀티모달 AI를 사람의 눈과 귀를 대신하는 판단자로 쓰지 않고, 놓치기 쉬운 부분을 먼저 찾아주는 보조 직원처럼 다루고 있다. 회의 녹음, 발표 자료, 화면 캡처를 한꺼번에 넣을 때도 발언 내용과 슬라이드 숫자가 서로 맞는지 따로 확인한다. 2025년 10월에는 70분짜리 온라인 설명회에서 발표자가 말한 할인율과 화면에 표시된 할인율이 달랐는데, AI가 그 차이를 표시해 줬다. 다만 표시된 차이가 곧 오류라는 뜻은 아니어서 원본 영상의 시간대를 제가 다시 확인했다.

2. 온디바이스 AI를 써 보며 느낀 속도와 한계

온디바이스 AI는 2025년 11월 스마트폰의 음성 요약 기능으로 처음 체감했다. 지하철 구간에서 통화 녹음을 요약했는데 인터넷 연결이 끊긴 상태에서도 6분 녹음이 약 18초 만에 처리됐다. 반면 긴 문서의 맥락을 이어 가는 작업에서는 클라우드 도구보다 결과가 단순했다. 같은 회의록을 비교하니 기기 안에서 처리한 결과는 결정 사항 세 개 중 하나를 빠뜨렸다. 저는 짧은 메모와 민감한 대화에는 기기 내 처리를 우선하고, 긴 보고서 초안에는 별도 검토를 붙이는 방식으로 나눴다.

보안도 제가 기대한 만큼 자동으로 해결되지는 않았다. 기기 안에서 처리되는 기능을 골랐지만, 제가 사용한 앱의 오류 보고 설정 때문에 일부 사용 기록이 서버로 전송될 수 있다는 안내를 뒤늦게 확인했다. 2026년 1월에는 기업 계정의 권한을 다시 살피고, 연락처와 고객 이름을 익명화한 뒤 테스트했다. 온디바이스라는 표시만 보고 모든 정보가 기기 밖으로 나가지 않는다고 단정하면 곤란한다. 저는 비행기 모드에서 작동 여부를 확인하고, 앱의 로그 전송과 백업 항목까지 직접 점검하는 습관을 들였다.

3. 자본이 적어도 바뀐 업무 방식

제가 운영하는 팀은 네 명이라 별도 AI 개발자를 채용할 예산이 없었다. 대신 2026년 2월에 중고 노트북 한 대와 소형 로컬 서버를 마련해 고객 문의 분류부터 시험했다. 한 달 문의 1,200건을 배송, 교환, 사용법, 불만 네 종류로 나누게 했고, 처음에는 분류 오류가 18%였다. 문의 예시 80건을 직접 고쳐 다시 학습용 문장으로 넣자 오류가 7%까지 낮아졌다. 그래도 환불 요청을 배송 문의로 분류한 사례가 남아 있어, 환불과 개인정보 관련 문장은 사람이 먼저 확인하도록 규칙을 바꿨다.

이 과정에서 저는 비싼 장비를 먼저 사는 방식이 맞지 않다는 판단을 내렸다. 처음 세운 계획은 영상까지 모두 분석하는 시스템이었지만, 저장 공간과 처리 시간이 예상보다 빠르게 늘어났다. 30초 고객 영상 300개를 처리하는 데 로컬 장비로 9시간이 걸렸고, 영상 속 얼굴을 보관하는 문제도 부담이 됐다. 그래서 영상 전체를 저장하지 않고 필요한 구간의 문장과 시간 정보만 남겼다. 기능은 줄었지만 월별 저장 비용은 약 42% 감소했고, 직원들이 실제로 확인해야 할 기록도 짧아졌다.

4. 실패를 줄이는 개인화 자동화 절차

저는 자동화 작업을 시작할 때 먼저 일주일치 업무를 손으로 기록한다. 2026년 3월에는 매일 반복하던 견적서 작성 34건을 살펴보니, 실제로 AI에 맡길 만한 단계는 상품명 정리와 누락 항목 표시뿐이었다. 가격 계산과 납기일 확정까지 맡기려 했던 초기 계획은 취소했다. 숫자 하나가 잘못 들어가면 거래 조건 전체가 바뀌기 때문이다. 현재는 AI가 초안을 만들고 제가 두 개의 원본 파일과 대조한 뒤 발송하도록 순서를 고정했다.

자동화가 잘 돌아가는 날보다 멈추는 날을 기록하는 일도 도움이 됐다. 저는 오류가 난 날짜, 입력 형식, AI 답변, 최종 수정 내용을 표에 남겼다. 한 달 동안 46건을 모아 보니 오류의 절반가량이 질문이 모호해서 생겼고, 나머지는 이미지 해상도와 단위 표기 문제였다. 그래서 질문 문장에 작업 목적, 참고 범위, 금지할 추정, 확인이 필요한 항목을 넣었다. 답변이 길어지지는 않았지만 직원마다 결과가 크게 달라지는 현상은 눈에 띄게 줄었다.

5. 제가 지금 지키는 사용 원칙

현재 제 기준은 멀티모달과 온디바이스 가운데 하나를 무조건 고르는 방식이 아닙니다. 개인정보와 내부 가격표처럼 외부 전송을 피해야 하는 자료는 기기 안에서 먼저 처리하고, 여러 문서의 긴 맥락을 비교해야 할 때는 마스킹한 자료만 클라우드에 올립니다. AI가 내린 판단을 고객에게 바로 보내지도 않다. 최소 한 번은 원본과 결과를 나란히 놓고 확인하며, 금액과 계약 조건은 사람이 최종 승인한다. 기술이 자본의 격차를 줄여 준다는 말도 이런 절차가 있을 때 현실에 가까워진다고 느꼈다.

독자분이 직접 시작한다면 거창한 시스템보다 일주일 동안 반복 업무 세 가지만 기록해 보시길 권한다. 저는 그 기록 덕분에 실제 절감 시간을 과장하지 않고 측정할 수 있었다. 먼저 이미지 한 장이나 짧은 음성 파일로 오류를 확인하고, 개인정보를 지운 뒤 온디바이스 처리와 외부 처리 결과를 비교해 보세요. 실패한 사례를 버리지 말고 날짜와 원인을 남기면 자신에게 맞는 자동화 범위가 보이다. AI를 많이 쓰는 사람보다 어디에서 멈추고 사람이 확인할지 정한 사람이 오래 안정적으로 활용했다.

실전에서 겪은 시행착오

2025년 8월 창고 선반 사진 180장을 멀티모달 AI에 넣었더니 27개 품목 중 6개의 재고 위치가 달라졌고, 촬영 거리와 조명을 일정하게 맞춘 뒤 신뢰도와 원본 사진을 함께 기록해 재검수 시간을 줄였습니다.

2026년 3월 견적서 34건을 분석한 결과 상품명 정리와 누락 항목 표시만 AI에 맡기고, 가격 계산과 납기일 확정은 두 개의 원본 파일과 대조한 뒤 사람이 발송하도록 바꿨습니다.

적용 전 꼭 확인할 주의사항

• 42쪽 PDF 카탈로그의 병합 셀 두 곳처럼 이미지와 표를 읽는 도구도 단위와 규격을 틀릴 수 있으므로 제품명, 단위, 공급가를 따로 검산해야 합니다.
• 스마트폰 음성 요약이 비행기 모드에서 6분 녹음을 약 18초 만에 처리하더라도 앱의 오류 보고와 백업 설정으로 사용 기록이 서버에 전송될 수 있으므로 로그 전송 항목을 확인해야 합니다.
• 30초 고객 영상 300개를 로컬 장비로 처리하는 데 9시간이 걸렸으므로 영상 전체와 얼굴 정보를 저장하기 전에 필요한 문장과 시간 정보만 남기는 범위를 먼저 시험해야 합니다.