ChatGPT가 나오고부터 여러 기업이 “오 이거 돈 될지도?”라고 생각하고 있다. LLM 모델을 직접 개발하는 곳도 있고 공개된 오픈 소스 LLM 모델을 이용해서 서비스를 개발하는 곳도 있다.
나도 ChatGPT를 열심히 쓰고 있는 사람 중 하나로서 기업용 LLM은 그동안 AI 뭐시기 하면서 나온 어설픈 서비스들과는 다르게 분명 효과가 있지 않을까? 하는 기대를 하고 있다.
기업용 sLLM이란?
ChatGPT, 클로드, 제미나이 이런 LLM은 범용 모델이다. 거대한 학습량과 시간으로 만들어졌다. 모든 분야를 알고 있다.
하지만 기업 입장에선 범용 모델보단 특화 모델이 필요할 것이라는 게 현재 시장의 판단이다. 특화 모델은 chatgpt처럼 무지막지한 비용, 시간 투자가 필요하지 않다. 훨씬 적은 수준의 투자 비용으로도 특정 회사 또는 업무 분야에서 사용 가능한 수준의 생성형 AI 서비스를 구현할 수 있다는 말이다.
이런 의미로 앞에 s(small)가 붙어서 sLLM이라고 부른다.
RAG(Retrieval Augumented Generation)란?
이쪽 시장을 리서치하다보면 RAG 라는 용어가 매우 자주 등장한다. 단어를 직역하면 ‘검색 증강 생성’이 되는데 LLM 모델의 단점을 극복하기 위한 방안이다.
LLM은 모르는 걸 아는 척하는 ‘환각’ 현상이 존재한다. 모델이 모르는 정보에 대해 물어봤을 때 모른다고 하면 아무 문제가 없는데 그럴듯하게 답변을 줄줄 생성하는 게 문제다. 최신 데이터를 반영하지 않고 기존에 학습한 데이터로 그때는 맞고 지금은 틀린 답을 하는 부분도 치명적인 단점이다.
RAG는 이 두 가지 단점을 모두 해결한다. 모델이 답변하기 전에 최신 데이터를 검색해서 그 데이터를 기반으로 답변하도록 하는 기술이다. 질문자는 답변에 대한 출처를 확인할 수 있다. 요즘 구글의 대항마라고 불리는 perplexity가 답변하는 방식을 떠올리면 된다.
기업에 필요한 LLM
어쨌든 기업은 범용 지식이 필요해서 sLLM을 구축하는 일은 없을 것이다. 그럼 그냥 chatgpt를 쓰지 뭐하러 자체 llm을 구축하려고 하겠나. 결국 딱 자사에 필요한 형태로 쓰고 싶은 것이다. 자사가 모아 놓은 문서 내용을 알고 있고 그것에 기반해서 답변해야 한다.
최신 데이터에 기반한 답변이 중요하다
최신 데이터에 기반한 답변이 필요하다. 학습된 모델이라고 해서 업데이트된 내용을 무시하고 예전 정보를 알려주면 안 된다. 정보 검색 서비스는 최신 정보를 제공하는 게 너무나도 중요하다.
그래서 기업에서 사용하는 LLM 서비스엔 RAG는 필수가 될 수밖에 없다고 생각한다. 파인튜닝(Fine-tuning)이라고 해서 미리 기업 자체 데이터를 학습시키는 방법도 있지만 아무래도 계속 학습시키는 것보다는 신규 문서를 업로드하는 게 좀 더 중요하지 않을까.
사용자 입장에서도 출처를 밝혀주고 그 원문을 직접 확인할 수 있는 게 상당히 중요하다. 그래야 답변의 정보를 믿고 활용할 수 있다.
검색 기술이 필요하다
RAG는 질문을 데이터 저장소에 검색하는 과정을 거쳐야 한다. 검색 기술이 활용된다. 여기서 나도 잘 모르겠는 것이 RAG를 적용한 서비스를 개발할 때 그 회사에 검색 엔진 기술이 있어야 하나? 이다.
RAG가 검색 엔진 기술이 중요하게 작용한다면 기업용 sLLM 서비스는 검색 엔진 기술을 가지고 있는 기업이 잘 만들 게 분명하기 때문이다. 아니면 RAG에 필요한 검색 기술이라는 게 그냥 오픈 소스 가져다가 아무나 써도 문제가 없는 수준인 건지…
아무래도 검색 기술이 있는 기업이 더 잘 하지 않을까?