미소정보기술(대표 안동욱)이 대규모 언어모델(LLM) 인공지능(AI) 구축과 소규모 언어모델(sLLM) AI 구축시 양질 빅데이터 확보에 필요한 비(非) 라벨링 데이터 표준화 솔루션 ‘데이터스캔(Data Scan)’을 출시한다고 19일 밝혔다.
데이터스캔은 사람의 손으로 가공된 라벨링 데이터(지도학습)가 아닌 챗GPT 등 초거대 AI 개발에 필수인 양질의 빅데이터를 확보할 수 있는 비라벨링 데이터 표준화 솔루션이다.
초거대 AI 사전학습에 필요한 빅데이터 구축을 위해 데이터 등록부터 분류체계, 단어사전 구축을 기반으로 자연어 처리 및 분류 분석, 텍스트 분석, 산업별 적용 도메인에 따른 데이터 후처리 등이 포함된다.
또 기업·공공기관 내부 문서 보안이 강화된 패브릭기반 멀티모달 데이터 플랫폼 ‘스마트빅(smart BIG)’을 통해 LLM, sLLM구축시 고도화된 언어처리 기술을 원스톱으로 제공한다.
안동욱 대표는 “생성형 AI 시대를 맞아 양질의 데이터는 AI 경쟁력 핵심”이라며 “앞으로 기업들의 경쟁력을 지원하는 데이터 인에이블러(Data Enabler) 역할을 담당하겠다”고 밝혔다.
구교윤 기자 (
