기업용 sLLM 서비스를 개발하는 국내 업체들이 꽤 된다. 서비스 개발을 위해선 llm 모델을 사용해야 하는데 이 모델부터 자체 개발해서 전체 과정을 자사 안에서 해결하는 경우가 있는 반면 젬마, 라마 같은 빅테크가 만든 오픈 소스 llm 모델을 활용하는 경우가 있다.
국내 기업 시장에서 어떤 방식이 더 나은 퍼포먼스를 낼 수 있을지가 향후 관건이 될 거 같다.
역사적으로 보면 결국은 잘 만든 표준을 쓰게 되어 있다. 오픈 소스인 리눅스는 ubuntu, redhat, centos, rocky 등 현재 시장을 지배하고 있는 배포판을 탄생시켰다. 윈도우 서버를 사용하는 기업은 점점 줄어들고 지금은 서버 컴퓨터용으로 리눅스가 많이 쓰인다. 무료인데도 라이선스 비용을 받는 윈도우보다 성능이 떨어지킨 커녕 오히려 더 낫다.
게임 업계에선 유니티 아니면 언리얼 엔진 둘 중 하나를 사용해서 게임을 만든다. 간혹 펄어비스 처럼 게임 엔진부터 자사가 만들고 개발해서 성공한 케이스도 있는데 흔치는 않다. 이건 오픈 소스랑은 다른 이야기지만 결국은 잘 만든 표준을 기준으로 개발을 시작한다는 말이다.
LLM 기반 서비스도 장기적으로는 잘 만든 오픈 소스 모델이 살아 남아 시장을 주도할 것 같다. 왜냐하면 llm 모델 학습쪽은 완벽한 머니 게임이고 빅테크 쪽에서 돈 쓰는 규모를 보면 우리 나라가 도저히 따라갈 수는 없는 규모다.
메타의 라마 같은 경우는 그렇게 많은 돈을 써서 만든 모델을 오픈 소스로 풀고 있는 거기 때문에 상식적으로 생각하면 그걸 안 쓸 이유가 없다. 그래서 우리나라 sllm 서비스도 결국 라마 같은 모델을 활용해서 개발하는 쪽으로 기울지 않을까 싶다.
하지만 좋은 모델 쓴다고 좋은 sllm 서비스가 개발된다는 보장은 없다. 가장 큰 변수는 한국어를 잘 하는가? 미세조정을 잘 할 수 있는가? 일 거 같다. 아무래도 라마 같은 모델은 한국어 학습 능력은 비교적 부족하지 않을까 싶다.
반면 llm 모델부터 자체 개발하는 케이스는 당연히 한국어를 중심으로 학습시켰을 거기 때문에 우리말을 잘하는 생성형 ai가 될 확률이 높다.
결국 우리나라의 좁은 기업 시장에서 어떤 llm 상품이 잘 팔릴까가 궁금한 건데(물론 생성형 ai 자체가 확산될 거라는 기대감이긴 하지만) chatgpt 만큼 엄청나게 큰 범용 모델이 필요한게 아니고 회사에서 업무 효율을 높일 수 있는 작고 똘똘한 모델이 먹힐 것이라는 말이다.
양질의 한국어 데이터를 많이 가지고 있고 그걸 잘 학습시킬 능력이 있는 기업이 오히려 큰 오픈소스 llm 모델을 활용한 서비스보다 더 성능이 나을 수도 있다.
그래서 오픈 소스와 자체 개발 llm 모델 중 어떤 걸 사용하는 게 더 유리한지는 아직 잘 모르겠다.