[2026년 대전환] AI는 어떻게 자본과 기술의 경계를 허무는가: 멀티모달과 온디바이스 AI의 실전적 이해

저는 2025년 3월부터 작은 온라인 쇼핑몰의 상품 등록과 고객 문의를 AI로 줄여 보려 했습니다. 처음에는 텍스트 상품 설명만 넣으면 상세 페이지가 알아서 완성될 거라 기대했지만, 결과는 어색한 문장과 틀린 규격 정보의 연속이었습니다. 특히 500g 제품을 5kg으로 바꿔 쓰는 오류가 세 번이나 발생해 고객에게 수정 안내를 보냈습니다. 그때 저는 AI의 성능보다 제가 어떤 자료를 넣고, 어디까지 확인할지 정하는 과정이 더 큰 차이를 만든다는 사실을 배웠습니다.
제가 멀티모달 AI를 제대로 써 본 계기는 2025년 6월 거래처에서 받은 PDF 카탈로그였습니다. 기존에는 표를 직접 복사해 엑셀에 옮겼고, 42쪽 자료를 처리하는 데 반나절이 걸렸습니다. 이미지와 표를 함께 읽는 도구에 카탈로그를 넣은 뒤에는 20분 만에 초안이 나왔지만, 표의 병합 셀 두 곳을 잘못 해석했습니다. 이후 저는 제품명, 단위, 공급가를 따로 검산하는 세 칸짜리 확인표를 만들었고, 작업 시간이 5시간에서 1시간 10분으로 줄었습니다.

1. 멀티모달 AI를 처음 믿었다가 생긴 문제

저는 이미지 속 정보를 읽는 AI라면 사진의 맥락까지 정확히 이해한다고 생각했습니다. 2025년 8월, 창고 선반 사진 180장을 넣고 재고 위치를 표시하게 했는데, 비슷한 포장지의 상품을 서로 바꿔 기록했습니다. 조명이 어두운 사진에서는 숫자 8을 3으로 읽기도 했습니다. 실제 재고와 대조하니 27개 품목 중 6개가 달랐고, 직원 한 명이 오후 내내 다시 세야 했습니다. 이후 촬영 거리와 조명을 일정하게 맞추고, AI 결과에는 신뢰도와 원본 사진을 함께 붙였습니다.
그 경험 뒤 저는 멀티모달 AI를 사람의 눈과 귀를 대신하는 판단자로 쓰지 않고, 놓치기 쉬운 부분을 먼저 찾아주는 보조 직원처럼 다루고 있습니다. 회의 녹음, 발표 자료, 화면 캡처를 한꺼번에 넣을 때도 발언 내용과 슬라이드 숫자가 서로 맞는지 따로 확인합니다. 2025년 10월에는 70분짜리 온라인 설명회에서 발표자가 말한 할인율과 화면에 표시된 할인율이 달랐는데, AI가 그 차이를 표시해 줬습니다. 다만 표시된 차이가 곧 오류라는 뜻은 아니어서 원본 영상의 시간대를 제가 다시 확인했습니다.

2. 온디바이스 AI를 써 보며 느낀 속도와 한계

온디바이스 AI는 2025년 11월 스마트폰의 음성 요약 기능으로 처음 체감했습니다. 지하철 구간에서 통화 녹음을 요약했는데 인터넷 연결이 끊긴 상태에서도 6분 녹음이 약 18초 만에 처리됐습니다. 반면 긴 문서의 맥락을 이어 가는 작업에서는 클라우드 도구보다 결과가 단순했습니다. 같은 회의록을 비교하니 기기 안에서 처리한 결과는 결정 사항 세 개 중 하나를 빠뜨렸습니다. 저는 짧은 메모와 민감한 대화에는 기기 내 처리를 우선하고, 긴 보고서 초안에는 별도 검토를 붙이는 방식으로 나눴습니다.
보안도 제가 기대한 만큼 자동으로 해결되지는 않았습니다. 기기 안에서 처리되는 기능을 골랐지만, 제가 사용한 앱의 오류 보고 설정 때문에 일부 사용 기록이 서버로 전송될 수 있다는 안내를 뒤늦게 확인했습니다. 2026년 1월에는 기업 계정의 권한을 다시 살피고, 연락처와 고객 이름을 익명화한 뒤 테스트했습니다. 온디바이스라는 표시만 보고 모든 정보가 기기 밖으로 나가지 않는다고 단정하면 곤란합니다. 저는 비행기 모드에서 작동 여부를 확인하고, 앱의 로그 전송과 백업 항목까지 직접 점검하는 습관을 들였습니다.

3. 자본이 적어도 바뀐 업무 방식

제가 운영하는 팀은 네 명이라 별도 AI 개발자를 채용할 예산이 없었습니다. 대신 2026년 2월에 중고 노트북 한 대와 소형 로컬 서버를 마련해 고객 문의 분류부터 시험했습니다. 한 달 문의 1,200건을 배송, 교환, 사용법, 불만 네 종류로 나누게 했고, 처음에는 분류 오류가 18%였습니다. 문의 예시 80건을 직접 고쳐 다시 학습용 문장으로 넣자 오류가 7%까지 낮아졌습니다. 그래도 환불 요청을 배송 문의로 분류한 사례가 남아 있어, 환불과 개인정보 관련 문장은 사람이 먼저 확인하도록 규칙을 바꿨습니다.
이 과정에서 저는 비싼 장비를 먼저 사는 방식이 맞지 않다는 판단을 내렸습니다. 처음 세운 계획은 영상까지 모두 분석하는 시스템이었지만, 저장 공간과 처리 시간이 예상보다 빠르게 늘어났습니다. 30초 고객 영상 300개를 처리하는 데 로컬 장비로 9시간이 걸렸고, 영상 속 얼굴을 보관하는 문제도 부담이 됐습니다. 그래서 영상 전체를 저장하지 않고 필요한 구간의 문장과 시간 정보만 남겼습니다. 기능은 줄었지만 월별 저장 비용은 약 42% 감소했고, 직원들이 실제로 확인해야 할 기록도 짧아졌습니다.

4. 실패를 줄이는 개인화 자동화 절차

저는 자동화 작업을 시작할 때 먼저 일주일치 업무를 손으로 기록합니다. 2026년 3월에는 매일 반복하던 견적서 작성 34건을 살펴보니, 실제로 AI에 맡길 만한 단계는 상품명 정리와 누락 항목 표시뿐이었습니다. 가격 계산과 납기일 확정까지 맡기려 했던 초기 계획은 취소했습니다. 숫자 하나가 잘못 들어가면 거래 조건 전체가 바뀌기 때문입니다. 현재는 AI가 초안을 만들고 제가 두 개의 원본 파일과 대조한 뒤 발송하도록 순서를 고정했습니다.
자동화가 잘 돌아가는 날보다 멈추는 날을 기록하는 일도 도움이 됐습니다. 저는 오류가 난 날짜, 입력 형식, AI 답변, 최종 수정 내용을 표에 남겼습니다. 한 달 동안 46건을 모아 보니 오류의 절반가량이 질문이 모호해서 생겼고, 나머지는 이미지 해상도와 단위 표기 문제였습니다. 그래서 질문 문장에 작업 목적, 참고 범위, 금지할 추정, 확인이 필요한 항목을 넣었습니다. 답변이 길어지지는 않았지만 직원마다 결과가 크게 달라지는 현상은 눈에 띄게 줄었습니다.

5. 제가 지금 지키는 사용 원칙

현재 제 기준은 멀티모달과 온디바이스 가운데 하나를 무조건 고르는 방식이 아닙니다. 개인정보와 내부 가격표처럼 외부 전송을 피해야 하는 자료는 기기 안에서 먼저 처리하고, 여러 문서의 긴 맥락을 비교해야 할 때는 마스킹한 자료만 클라우드에 올립니다. AI가 내린 판단을 고객에게 바로 보내지도 않습니다. 최소 한 번은 원본과 결과를 나란히 놓고 확인하며, 금액과 계약 조건은 사람이 최종 승인합니다. 기술이 자본의 격차를 줄여 준다는 말도 이런 절차가 있을 때 현실에 가까워진다고 느꼈습니다.
독자분이 직접 시작한다면 거창한 시스템보다 일주일 동안 반복 업무 세 가지만 기록해 보시길 권합니다. 저는 그 기록 덕분에 실제 절감 시간을 과장하지 않고 측정할 수 있었습니다. 먼저 이미지 한 장이나 짧은 음성 파일로 오류를 확인하고, 개인정보를 지운 뒤 온디바이스 처리와 외부 처리 결과를 비교해 보세요. 실패한 사례를 버리지 말고 날짜와 원인을 남기면 자신에게 맞는 자동화 범위가 보입니다. AI를 많이 쓰는 사람보다 어디에서 멈추고 사람이 확인할지 정한 사람이 오래 안정적으로 활용했습니다.