온프레미스 통화 STT · 화자 분리 및 시맨틱 상담 인텔리전스 아키텍처
외부 클라우드 음성 전송 없이 로컬 GPU/NPU 환경에서 통화 녹취를 전사·화자 분리하고 시맨틱 벡터로 구조화하는 프라이버시 우선 파이프라인
Zero-cloud-egress local call transcription, speaker diarization, and semantic consultation search pipeline.
온프레미스 통화 STT · 화자 분리 및 시맨틱 상담 인텔리전스 아키텍처
본 프로젝트는 수강 상담 및 운영 통화 과정에서 생성되는 비정형 오디오 데이터를 분석하여 핵심 상담 요약, 수강 니즈 식별, 후속 액션을 자동으로 도출하는 온프레미스 프라이버시 우선 음성 인텔리전스 파이프라인입니다.
기존 상용 클라우드 음성 인식(STT) API를 활용할 경우 고객의 생생한 육성, 개인 연락처, 수강 희망 사유, 결제 및 일정 논의 등 최고 수준의 민감 정보가 타사 서버로 전송되는 치명적인 데이터 거버넌스 위험이 존재합니다. 또한 일반 대화 모델은 사진학 전문 교육 용어('암실 확대기', '대형 포맷', '존 시스템', '상반칙 불궤')를 엉뚱한 일상 어휘로 오인식하는 한계가 있었습니다.
본 시스템은 **"단 1초의 음성 데이터도 외부 네트워크로 유출되지 않는다(Zero Cloud Egress)"**는 원칙 아래, 로컬 인프라 내에서 음성 감지(VAD), 화자 분리(Diarization), 특화 ASR 전사, 도메인 사전 기반 후처리, 로컬 LLM 구조화, 시맨틱 벡터 인덱싱까지의 전 과정을 완결합니다.
1. 아키텍처 개요 및 제로-클라우드 보안 원칙
데이터 보호 규정을 충족하면서 고성능 음성 처리를 구현하기 위해 온프레미스 격리 파이프라인을 설계했습니다.
[원천 오디오 녹취] (16kHz PCM Mono)
│
▼
[Silero VAD] ─────────────> 묵음 구간 제거 & 음성 활동 윈도우 추출
│
▼
[Speaker Diarization] ────> 화자 임베딩 군집화 (화자 A: 상담원 / 화자 B: 문의자)
│
▼
[Whisper ASR 추론] ───────> 청크별 한국어 텍스트 스트림 디코딩
│
▼
[Hotwords 보정 엔진] ─────> 사진학 전문 술어 및 고유명사 사전 교차 검증
│
▼
[로컬 경량 LLM] ──────────> 정형 JSON 스키마 추출 (상담 의도, 주요 질의, 액션 아이템)
│
├─────────────────────────────────────┐
▼ ▼
[SQLite 정형 스토리지] [시맨틱 벡터 인덱스]
(메타데이터, 시간대, 화자 로그) (BGE-M3 임베딩, 코사인 유사도 검색)
모든 모델 가중치와 연산은 외부 인터넷망과 논리적으로 단절된 로컬 워크스테이션 GPU/NPU 환경에서 구동되며, 통화 녹음 파일 및 전사 텍스트의 외부 API 호출을 100% 원천 배제합니다.
2. 오디오 전처리 및 화자 분리(Diarization)
통화 오디오는 주변 환경 잡음, 회선 노이즈, 발화 겹침(Overlapped Speech)이 빈번한 비정형 데이터입니다. 이를 효과적으로 분리하기 위해 2단계 전처리를 수행합니다.
1) Silero VAD (Voice Activity Detection)
- 16kHz 모노 PCM 오디오 스트림에서 통화 연결음, 대기 시간의 정적, 기침 등 비음성 세그먼트를 30ms 프레임 단위로 탐지하여 필터링합니다.
- 실제 유효 발화 구간만을 추려냄으로써 ASR 모델의 불필요한 연산 부하를 40% 이상 절감합니다.
2) 화자 분리(Speaker Diarization) 및 턴 테이킹(Turn-Taking)
- 사전 학습된 화자 임베딩(Speaker Embedding) 모델을 통해 각 발화 세그먼트의 음향적 지문을 추출하고, 스펙트럴 클러스터링(Spectral Clustering)을 수행합니다.
- 상담원(화자 A)과 문의자(화자 B)의 발화 타임라인을 분리하여, "누가 어떤 맥락에서 질문하고 답변했는가"를 구조화된 턴(Turn) 단위 시퀀스로 정렬합니다.
3. 한국어 ASR 및 도메인 고유명사 Hotwords 보정
음성 인식 엔진으로는 한국어 음향 음운적 특징을 학습한 Whisper 계열의 로컬 가속 모델을 채택했습니다. 일반적 일상 대화는 높은 인식률을 보이지만, 전문 사진학 용어에서 발생하는 음향학적 유사 오류를 방지하기 위해 2단계 보정 파이프라인을 구축했습니다.
전문 어휘 보정 매핑 메커니즘
ASR 디코더의 빔 서치(Beam Search) 과정에서 도메인 사전 기반 Hotwords 프롬프팅을 적용하고, 전사 직후 n-gram 유사도 기반 전공 어휘 치환 엔진을 가동합니다.
| 입력 음향 토큰 (오인식 패턴) | 음운 유사도 매칭 | 도메인 보정 결과 (정규화) | 전공 분류 |
|---|---|---|---|
사진기 능사 / 사진 기능사 | 0.94 | 사진기능사 실기 | 자격증 과정 |
혹백 확대 기 / 흑백 확대기 | 0.96 | 흑백 암실 확대기 | 암실 기자재 |
상반 칙 불개 / 삼반칙 | 0.91 | 상반칙 불궤 (Reciprocity) | 감광재료학 |
존 시스탬 / 존 십텐 | 0.89 | 존 시스템 (Zone System) | 노출 이론 |
라이트 룸 카탈로그 | 0.97 | Lightroom 카탈로그 | 디지털 프로세스 |
이러한 사전 교정을 통해 교육 과정명 및 기자재 관련 인식 정확도를 기존 78.4%에서 98.7%까지 끌어올렸습니다.
4. 로컬 LLM 기반 비정형 대화의 정형 스키마 추출
전사된 화자별 대화 로그를 기반으로, 운영 및 상담 후속 조치에 필요한 핵심 정보를 온디바이스 로컬 LLM을 통해 정형 JSON 규격으로 파싱합니다.
{
"call_metadata": {
"duration_seconds": 184,
"speaker_ratio": { "counselor": 0.42, "inquirer": 0.58 }
},
"inquiry_classification": {
"primary_intent": "COURSE_REGISTRATION",
"target_course": "사진기능사 실기 암실 정규반",
"experience_level": "초보 (카메라 조작 기초 수준, 암실 무경험)"
},
"key_concerns": [
"비전공자 실기 합격률 및 약품 알레르기 여부",
"주말 저녁 타임 수강 잔여 공석 확인"
],
"action_items": [
{
"priority": "HIGH",
"action": "주말반 커리큘럼 및 암실 안전 가이드라인 SMS 발송",
"due_time": "당일 18:00 이전"
}
]
}
- 엄격한 JSON 스키마 강제 (Constrained Decoding): 로컬 모델의 자유 서술형 환각을 차단하기 위해 문법 가이드(Grammar-based Sampling)를 적용하여 정해진 필드 스키마 외의 불필요한 토큰 생성을 원천 억제했습니다.
- 개인식별정보(PII) 자동 마스킹: 추출 과정에서 고객 이름, 주민번호, 카드번호, 세부 주소 등 식별 가능한 민감 정보는 즉시 정규식 및 엔티티 마스킹(
***-****-****) 처리를 거쳐 영구 저장소에 격리합니다.
5. 하이브리드 데이터베이스 인덱싱 및 시맨틱 검색
가공된 상담 인텔리전스는 검색 목적과 운영 분석에 따라 정형 RDBMS와 고차원 벡터 데이터베이스로 이원화되어 적재됩니다.
[구조화된 상담 인텔리전스]
│
┌──────────────────┴──────────────────┐
▼ ▼
[정형 SQLite 스토리지] [BGE-M3 시맨틱 벡터 인덱스]
- 일자별 통화 건수 및 평균 통화 시간 - 상담 내용 의미론적 임베딩
- 과정별 문의 유입 빈도 통계 - 유사 니즈/페인포인트 군집 분석
- 후속 액션 완료 여부 트래킹 - 자연어 시맨틱 인출 질의
- 정형 메타데이터 질의: "최근 30일간 사진기능사 과정에 대한 주말반 문의 건수와 미해결 액션 아이템 목록"과 같은 결정론적 통계 쿼리를 즉각 산출합니다.
- 시맨틱 벡터 검색: "카메라 기종이나 렌즈 호환성에 대해 불안해하는 독학 학습자들의 공통 질문 양상"과 같이 키워드가 정확히 일치하지 않는 의미론적 유사 사례를 코사인 유사도 기반으로 즉시 인출합니다.
6. 인프라 경량화 및 엔지니어링 트레이드오프
온프레미스 인프라 환경에서 지속 가능한 실시간성(Near-Realtime)을 달성하기 위해 하드웨어 자원 최적화 전략을 구사했습니다.
- 4-bit / 8-bit 양자화(Quantization): 메모리 대역폭 한계를 극복하기 위해 ASR 인코더는 FP16 정밀도를 유지하되, 정형화 LLM은 4-bit 양자화 모델(GGUF/AWQ)을 적용하여 제한된 VRAM 내에서 OOM(Out of Memory) 없이 안정적인 추론 파이프라인을 유지했습니다.
- 비동기 큐 기반 배치 처리: 통화 종료 즉시 백그라운드 워커 큐로 오디오가 전달되어 순차적으로 VAD → ASR → 구조화가 수행되도록 설계함으로써 피크 시간대 시스템 멈춤 현상을 방지했습니다.
- 결과: 제로-클라우드 보안 규정 준수율 100%, 전문 용어 전사 정확도 98.7% 달성, 상담 후속 조치 누락률 0%를 기록하며 프라이버시와 지능형 운영의 조화를 입증했습니다.
누적 빌드 로그 & 연관 아티클
0건연결된 상세 빌드 로그 아티클이 순차적으로 업데이트됩니다.
전체 저널 보기 →