멀티모달 AI란? 사진·음성까지 이해하는 AI 쉽게 정리

지난주에 카페에서 낯선 원두 봉투를 하나 봤습니다. 라벨이 온통 외국어로 적혀 있어서 뭔지 감이 안 왔는데, 그냥 스마트폰으로 사진을 찍어서 챗GPT에게 보여주며 "이거 뭐야?"라고 물어봤습니다. 몇 초 만에 원산지와 로스팅 정도, 대략적인 맛 특징까지 술술 설명해주더군요. 텍스트 한 줄 입력하지 않고 사진 한 장으로 답을 얻은 셈인데, 그 순간 이게 예전에 쓰던 AI랑은 다르다는 걸 체감했습니다.

비슷한 경험이 그 뒤로도 몇 번 더 있었습니다. 회의 중에 화이트보드에 휘갈겨 쓴 메모를 사진으로 찍어서 정리해달라고 했더니 항목별로 깔끔하게 표로 만들어줬고, 엑셀에서 뽑은 복잡한 꺾은선 그래프를 캡처해서 보여줬을 때도 어느 지점에서 추세가 꺾였는지 짚어냈습니다. 손으로 쓴 글씨든 숫자로 가득한 그래프든, 이미지 자체를 "읽고" 이해하는 느낌이었습니다. 목소리로 말을 걸어도 자연스럽게 대화가 이어지는 건 물론이고요.

이런 변화의 핵심 이름표가 바로 멀티모달입니다. 예전에 다뤘던 온디바이스 AI 이야기와도 맞닿아 있는 지점이 있어서, 오늘은 멀티모달이 정확히 뭘 뜻하는지부터 차근차근 짚어보려고 합니다.

멀티모달이 정확히 뭔가

멀티모달(multimodal)은 말 그대로 '여러 형태(modality)'를 함께 다룬다는 뜻입니다. 예전 AI는 텍스트를 입력하면 텍스트로 답하는 구조가 기본이었습니다. 하지만 최근 여러 AI 서비스들은 텍스트뿐 아니라 이미지, 음성, 영상까지 하나의 모델 안에서 함께 처리하는 방향으로 나아가고 있습니다.

여기서 중요한 건 '함께'라는 표현입니다. 이미지를 텍스트로 변환하는 별도 프로그램을 거치는 게 아니라, 하나의 모델이 사진을 보고 그 안에 담긴 맥락과 의미를 직접 파악한다는 뜻입니다. 텍스트만 이해하던 AI가 이미지·음성·영상 같은 서로 다른 형태의 정보를 하나의 모델 안에서 함께 처리하게 됐다는 게 멀티모달의 핵심입니다.

말하자면 AI에게 눈과 귀가 새로 생긴 것과 비슷합니다. 보고 듣는 감각이 늘어난 거죠.

그래서 사진을 찍어 보여주면 그 안의 사물이나 글자, 분위기까지 한꺼번에 읽어내고, 목소리로 말을 걸면 억양이나 뉘앙스까지 어느 정도 감안해서 답합니다. 영상 통화하듯 화면을 보여주며 질문하는 것도 같은 원리로 가능해졌습니다. 텍스트, 이미지, 음성, 영상이 각각 따로 처리되던 시절과 비교하면 꽤 큰 변화입니다.

 

예전 방식과 뭐가 다른가

텍스트만 잘 다루던 시절에도 이미지를 넣고 싶다는 요구는 있었습니다. 다만 그때는 우회로가 필요했죠. 이 차이를 좀 더 체감하려면 예전 방식과 지금 방식을 나란히 놓고 보는 게 빠르죠.

예전 방식

이미지를 인식 프로그램이 먼저 문자로 바꾸고, 그 결과를 언어 모델에 넘기는 2단계 구조였습니다.

지금 방식

모델이 이미지를 중간 변환 없이 곧바로 읽고 이해합니다.

이 중간 단계 탓에 속도도 느려지고, 사진에 담긴 분위기나 손글씨의 필압 같은 미묘한 뉘앙스는 애초에 문자로 옮겨지지 않았죠. 중간 변환 단계 없이 모델이 이미지를 그 자체로 해석한다는 점이 예전 방식과 가장 크게 갈리는 부분입니다.

실제로 표 사진 한 장을 보여주면 셀 구조까지 그대로 파악해서 정리해주는 경우가 많아졌는데, 예전 같으면 이런 요청 자체가 안 통했을 텐데, 새삼 격세지감이 드네요.

 

실제로 어디에 쓸 수 있나

멀티모달이 실제 생활에서 어떻게 쓰이는지 살펴보면 감이 더 잘 옵니다.

가장 흔한 건 사진으로 물건을 찾거나 물어보는 경우입니다. 식당 메뉴판이 외국어로만 적혀 있을 때 사진을 찍어 물어보거나, 집에 있는 가전제품 모델명을 몰라서 사진으로 확인하는 식입니다. 손글씨로 쓴 회의 메모나 표 사진을 정리시키는 것도 자주 쓰이는 방식이고, 영수증이나 계약서 일부를 찍어서 요약을 부탁하는 사람도 많아졌다고 합니다.

목소리로 대화하듯 질문을 이어가는 것도 이제는 낯설지 않습니다. 타이핑 없이 말로 물어보고 답을 듣는 흐름이 자연스러워졌으니까요. 화면을 공유하면서 "이 부분 왜 이렇게 됐어?"라고 실시간으로 물어보는 사용법도 점점 자연스러워지는 분위기입니다.

이런 쓰임새들, 관통하는 이유는 간단해요. 텍스트로 옮겨 적는 수고 없이, 눈에 보이거나 들리는 그대로 AI에게 던지고 답을 받는다는 점입니다. 예전이라면 사진 속 내용을 일일이 타이핑해서 설명해야 했을 상황들이 확 줄어든 셈이죠.

 

주의할 점

다만 멀티모달이 모든 걸 완벽하게 알아보는 건 아니에요. 성격이 다른 문제 몇 가지를 나눠서 짚어보겠습니다.

인식 정확도 문제부터 살펴보겠습니다. 사진이 흐릿하거나 조명이 어둡거나, 글씨가 겹쳐 있는 등 복잡한 이미지는 여전히 오독할 가능성이 있습니다. 음성도 마찬가지여서 억양이 강하거나 주변 소음이 심하면 인식률이 흔들리기도 하죠. 이미지나 음성이 조금만 복잡해져도 오독이나 오인식이 생길 수 있다는 점은 염두에 둬야 합니다.

이건 인식 정확도와는 다른 층위의 문제인데, 바로 개인정보입니다. 얼굴이나 신분증, 집 주소가 찍힌 사진, 차량 번호판 같은 게 그대로 담긴 이미지를 아무렇지 않게 올리는 경우가 꽤 있습니다. 편리하다고 해서 민감한 사진까지 습관적으로 올리다 보면 나중에 곤란해질 수 있으니 한 번 더 생각해보는 게 좋습니다.

여기에 결과를 어디까지 믿을지의 문제도 따로 얹힙니다. 인식 자체가 맞았다고 해도 그걸 바탕으로 한 해석이나 조언까지 늘 정확하다고 단정할 수는 없습니다. 특히 의료 사진이나 법률 문서처럼 결과가 중요한 영역에서는 AI 답변을 그대로 믿기보다 참고 자료 정도로 여기고 다시 확인하는 편이 안전하죠.

 

정리하며

이 글을 쓰면서 새삼 느낀 건, 원두 봉투 사진 한 장으로 답을 받았던 그 순간이 생각보다 별일 아니게 지나갔다는 점입니다. 몇 년 전이었다면 신기해서 여기저기 자랑했을 법한 일인데, 이제는 그냥 당연하게 쓰고 있으니까요.

멀티모달이라는 단어 자체는 여전히 낯설게 느껴지지만, 정작 그걸 쓰는 방식은 이미 손에 익어버렸습니다. 사진 찍어서 물어보고, 말로 걸고, 화면 보여주며 질문하는 게 특별한 기능이 아니라 그냥 일상의 한 조각이 된 느낌이랄까요.

그만큼 자연스러워졌다는 뜻이겠죠.

 

자주 묻는 질문

멀티모달 AI는 특정 서비스에서만 되나요?

특정 한두 서비스만의 전유물은 아닙니다. 여러 AI 서비스들이 저마다 다른 속도로 사진과 목소리를 함께 이해하는 기능을 넓혀가는 흐름이고, 서비스별로 지원 범위나 완성도는 차이가 날 수 있습니다.

사진을 올리면 개인정보가 그대로 저장되나요?

일부 서비스는 설정에서 '대화 기록을 모델 학습에 사용하지 않음' 같은 옵션을 켤 수 있습니다. 저장 여부나 보관 기간은 서비스마다 다르므로, 정말 민감한 자료라면 이런 설정부터 확인해두는 편이 낫습니다.

음성으로 대화하면 텍스트보다 정확도가 떨어지나요?

오히려 타이핑보다 편할 때도 많습니다. 발음이 또렷하면 정확도 자체는 텍스트와 큰 차이가 없다고들 하고, 설령 한두 단어를 잘못 알아듣더라도 바로 다시 말해서 고치면 그만이니까요.