Hugging Face SLM
모델 조사 보고서

• 128K 컨텍스트로 대형 문서 묶음 및 긴 RAG 컨텍스트 지원
• MoE 활성 파라미터가 약 1B 수준이라, 지원 런타임에서 Dense 7B보다 지연·메모리 효율이 좋을 수 있음
• Apache-2.0은 조달(procurement)에 친화적
• Gated 처리되지 않은 공개 모델로 비교적 자유롭게 사용 가능
• 구조화된 JSON, 도구 호출, RAG 프롬프트를 기본 지원
• IBM이 데이터 출처/리스크 통제 감사를 돕는 공시 JSON 제공

1) 사전학습 (Pre-training)

베이스 모델 카드에 따르면 Granite-4.0-H-Tiny-Base는 약 23조(23T) 토큰으로 4단계(Four-Stage) 학습 전략을 통해 처음부터(from scratch) 학습되었습니다.

주요 사전학습 데이터셋과 출처 유형

공개 데이터셋 

• GneissWeb은 IBM Granite가 FineWeb 기반으로 공개한 데이터셋/레시피 아티팩트입니다.
• LLM360/TxT360 서브셋, LoC-PD-Books, OpenMathReasoning, OpenCodeReasoning, OpenCodeInstruct, Hermes, xLAM, When2Call 등 다수 데이터셋이 Hugging Face URL과 함께 공개되어 있습니다.
• IBM은 데이터셋의 메타데이터, 출처 분류, 크기, 언어, 합성 여부, 출처 유형이 담긴 머신리더블 공시 JSON을 공개합니다.

비공개 부분 

• Webhose는 비공개 제3자 상용 데이터로 명시되어 있습니다.
• 일부 IBM 합성 데이터셋은 외부 접근이 불가능합니다.
• 일부 내부 수집/획득 휴먼 큐레이션, 정부 도메인, 도구, RAG 데이터셋은 비공개입니다.
• 정확한 혼합 비율, 샘플링 순서, 필터링 구현, 전체 학습 코드는 모델 카드만으로 완전 재현이 불가능합니다.

2) 사후학습 / 파인튜닝 (Post-training)

인스트럭트 모델은 Granite-4.0-H-Tiny-Base로부터 파인튜닝되었습니다.

사후학습 데이터 구성

• 허용적 라이선스의 오픈소스 인스트럭션 데이터셋
• 내부 합성 데이터셋
• 사람이 큐레이션한 데이터
• 도구 호출 데이터: xLAM, When2Call, 함수 라우팅, 비관련성 탐지, 병렬/다중 도구 호출
• RAG 데이터: 위키피디아·정부 도메인 대상 단일턴/멀티턴 합성 RAG 데이터
• 코드·수학 인스트럭션/추론 데이터셋
• 안전성/정렬 데이터

• 한국어/영어 행정문서 Q&A (RAG 기반)
• 민원 분류 및 라우팅
• 장문 문서 요약
• JSON 스키마로의 문서 추출
• 법령/고시/규정/매뉴얼 기반 FAQ 어시스턴트
• 내부 지식베이스 검색 어시스턴트
• 워크플로 시스템용 도구 호출 에이전트
• 콜센터 통화 녹취록 요약 및 분류
• IT 헬프데스크 자동화
• 내부 시스템용 코드/SQL 어시스턴트

• 학습 데이터 완전 공개 아님 — 일부 비공개·합성·내부 데이터 사용완전 투명 데이터 통과가 아닌 조건부로 취급. 조달 검토에 IBM 공시 활용
• 한국어가 주(primary) 언어 아님 — 한국어 지원하나 인스트럭션 튜닝은 대부분 영어한국어 Few-shot 프롬프트, RAG grounding, 태스크 평가
• 새로운 하이브리드 아키텍처 — Mamba2/MoE 지원이 일부 런타임에서 늦을 수 있음도입 전 vLLM/Transformers/TGI/양자화 지원 검증
• 환각(Hallucination) — 부정확한 출력 가능성검색 기반 grounding, 인용, 답변 거절, 직접 검토 필수
• 도구 호출 리스크 — 잘못된 API 호출이 부적절한 워크플로 동작을 트리거Allowlist, 검증, 드라이런 모드, 민감 작업에 직접 승인 필수

공공업무에서는 Apache-2.0 라이선스, 작은 활성 파라미터, 장문 컨텍스트, 도구/RAG 지원, IBM 공시 메타데이터의 조합 덕분에 SLM 모델의 서브에이전트로 활용하기 적합하다고 판단됩니다. 그러나 학습 데이터를 완전히 오픈하지 않았고 한국어 네이티브 모델이 아니기 때문에, 실 사용 시 엔터프라이즈급 다국어 모델로서 사용해야 할 것입니다.

SLM 모델로서 업무에 적용한다면 공공·행정의 법령·규정 등의 한국어 RAG QA, 컨텍스트 요약, 민원 양식 등 문서로부터의 JSON 추출 등을 먼저 시도하여 기관망에서 사용하기 적합한 모델인지 먼저 파악하고 적용하는 작업이 선행되어야 합니다.