Ellm의 PM(프로젝트 매니저)을 맡고 계신 강필구 수석님을 만나서 Ellm에 대해 더 자세한 이야기를 들어봤습니다.

안녕하세요 수석님!  현재 Ellm에는 어떤 기능이 있나요?

Ellm의 주요 기능은 2가지로, AI 채팅 기능과 AI 문서 채팅 기능이 있어요.

AI 채팅은 회사 내 모든 문서를 참고하여 답변을 생성하고, AI 문서 채팅은 사용자가 업로드한 특정 문서를 우선적으로 참고하여 답변합니다.
특히 AI 문서 채팅은 문서 요약 기능도 있어서 문서의 내용을 빠르게 파악할 수 있습니다.

그렇다면, 타사의 LLM 서비스와 Ellm의 차별화된 포인트는 무엇인가요?

Ellm은 “기업 데이터 생성” 과 “보안”에 특화된 sLLM 서비스입니다.

기업은 내부 자료를 LLM 서비스를 이용해 데이터 분석에 활용하고, 이를 통해 다양한 업무의 효율성을 높이고자 합니다.  하지만 정보 유출 같은 보안 위험성 때문에 외부 LLM 서비스를 이용하는 것은 고민하고 있어요.  
이런 고민을 해결해줄 수 있는 것이 바로 Ellm입니다.  

특히 Ellm은 파수의 다른 보안 솔루션과 연계하여 개인정보 필터링이 가능하고, 문서마다 사용자 접근 권한을 지정할 수 있어, LLM서비스를 보다 안전하게 사용할 수 있습니다.  

또한 Ellm은 내부 자료를 위주로 정제된 자료를 학습하기 때문에 기업에서 필요한 데이터를 효과적으로 생성할 수 있어요.☺️

최근 업데이트된 Ellm v1.2은 RAG 기술을 활용하여 답변의 정확도를 높이고, 특정 부서별로 볼 수 있는 데이터를 한정하여 부서 내에서 정해진 용도로 이용할 수 있습니다. RAG(Retrieval-Augmented Generation)기술이란, LLM이 질문과 관련된 문서나 정보를 검색하고 지식을 추가하여 답변을 생성하는 것을 말해요. 

Ellm 개발에 있어서  특히 어려운 점이나 고충이 있다면 알려주세요!

LLM 개발 분야의 담당자라면 아마 많은 분들이 공감하는 부분일 텐데 “예측이 어렵다는 점”이 가장 어려워요.

LLM에 데이터를 학습시킬 때 환경에 맞춰서 가설을 세우고, 몇억 건의 데이터를 주입한 후, 가설대로 답변하는지 검증하고 테스트하는 작업이 이루어지는데요. 이 과정에서 LLM 모델이 항상 가설처럼 답변한다는 보장이 없으니, 여러 우여곡절을 겪게 돼요. 

예를 들어, ‘같은 질문을 여러 번 학습시키면 더 좋은 답변을 할 것이다’ 는 가설을 세우고 테스트를 진행했을 때, 답변이 복불복이라면 상당히 당황스럽죠.😂  또한 빠르게 변하는 트렌드에 맞춰 움직여야 하고, 참고 자료의 특성상 대부분 영어 논문이 많다는 점도 애로사항이라고 할 수 있네요.😥

마지막으로 Ellm의 최종 목표는 무엇인지, 어떤 모습으로 발전하게 될 지 말씀해주세요! 

앞으로 Ellm을 더 잘 학습시켜서 추후에는 보고서, 발표 자료와 같은 “문서”를 생성하고, 이 문서를 업무에 유용하게 활용하는 것이 최종 목표입니다.  

또한 고객들이 원하는 곳에서 다양한 작업을 수행할 수 있도록 Ellm을 API 형태로 제공하는 것을 준비하고 있어요.
앞으로도 더 발전할 Ellm을 기대해주세요!🫡