AllUtility — 브라우저 완결형 웹 유틸리티 & AI 토크나이저 플랫폼
서버 전송 없이 브라우저 내부에서 즉시 실행되는 개발·문서·LLM 토큰 분석 웹 도구 모음
Zero-upload client-side web utility & LLM tokenizer suite in 5 languages, built with Nuxt 4 and TypeScript.
AllUtility — 브라우저 완결형 웹 유틸리티 & AI 토크나이저 플랫폼
AllUtility 웹 도구 플랫폼은 개발자와 크리에이터가 일상적으로 사용하는 파일 변환, 텍스트 차이 비교(Diff), JSON 유효성 검증, PDF 병합·분할, 그리고 최신 거대언어모델(LLM) 토큰 계산 도구를 단 하나의 웹 애플리케이션으로 통합한 브라우저 완결형 도구 플랫폼입니다.
기존 대다수의 웹 도구 서비스는 사용자가 업로드한 텍스트나 민감한 문서 데이터를 백엔드 서버로 전송하여 변환한 후 응답을 반환하는 구조였습니다. AllUtility는 이러한 데이터 유출 위험과 네트워크 왕복 지연(Latency)을 근본적으로 제거하기 위해, 모든 데이터 처리와 연산을 100% 클라이언트 사이드 메모리에서 수행하는 제로-업로드(Zero-Upload) 아키텍처를 채택했습니다.
1. 문제 정의와 설계 배경
개발 및 문서 작업에서 웹 기반 간이 도구는 필수적이지만, 기존 생태계에는 명확한 세 가지 구조적 페인포인트가 존재했습니다:
- 데이터 프라이버시 침해 위험: 개발자가 API 응답 JSON, 고객 데이터 로그, 토큰화할 내부 기획 문서를 웹 변환기에 붙여넣을 때 타사 서버로 평문이 전송되어 기밀 유출의 위험이 상존했습니다.
- 네트워크 지연과 서버 인프라 비용: 수십 MB에 달하는 대용량 PDF나 수만 라인의 코드 파일을 매번 서버로 업로드하고 다운로드하느라 불필요한 대기 시간이 발생했습니다.
- 단편화된 도구 파편화: 토크나이저는 A 사이트, Diff 도구는 B 사이트, PDF 조작은 C 사이트로 분산되어 있어 작업 흐름이 단절되었습니다.
AllUtility는 이 문제를 해결하기 위해 최신 브라우저 표준(WebAssembly, Web Workers, Canvas, TypedArray)을 극한으로 활용하여 서버 의존도를 0으로 수렴시키는 고성능 클라이언트 사이드 아키텍처를 설계했습니다.
2. 클라이언트 사이드 제로-업로드 아키텍처
AllUtility의 핵심 엔지니어링 철학은 **"사용자의 데이터는 단 1바이트도 네트워크를 통해 외부 서버로 전송되지 않는다"**는 원칙입니다.
[사용자 입력 (JSON / PDF / Code / Text)]
│
▼
┌────────────────────────────────────────────────────────┐
│ 브라우저 샌드박스 (Client-Side Only) │
│ │
│ ├─ Web Worker 1 : tiktoken WASM (gpt-4o / cl100k) │
│ ├─ Web Worker 2 : CodeMirror 6 AST 파서 & Linter │
│ └─ In-Memory Engine : pdf-lib 바이너리 조작 / Three.js│
└────────────────────────────────────────────────────────┘
│
▼
[16ms 이내 화면 렌더링 & 즉시 Blob 로컬 다운로드]
1) WebAssembly 기반 LLM 토크나이저
gpt-4o, gpt-4, cl100k_base 등 복잡한 BPE(Byte-Pair Encoding) 토큰화 알고리즘을 브라우저 메인 스레드의 렌더링 블로킹 없이 실행하기 위해 Rust 기반 tiktoken을 WebAssembly로 컴파일하고 백그라운드 Web Worker에서 비동기 처리합니다. 수만 자의 긴 프롬프트도 16ms 이내에 즉각 토큰 수와 개별 토큰 경계 하이라이트를 산출합니다.
2) 메모리 내 바이너리 조작 (pdf-lib & Canvas)
PDF 파일의 병합, 페이지 추출, 회전, 암호화 해제 작업은 서버 API 호출 없이 pdf-lib와 브라우저 ArrayBuffer 수준에서 직접 수행됩니다. 기밀 계약서나 재무 문서가 포함된 대용량 PDF도 네트워크 전송 대기 시간 없이 즉각적인 클라이언트 연산으로 완료됩니다.
3) CodeMirror 6 기반 경량화 에디터
Diff 엔진과 JSON 검증기는 CodeMirror 6 모듈러 아키텍처를 기반으로 구축되었습니다. 가상 스크롤(Virtual Scrolling)을 적용하여 10만 줄 이상의 대용량 JSON 데이터도 메모리 누수 없이 부드러운 스크롤과 실시간 구문 트리(AST) 하이라이트를 유지합니다.
3. 프로그래매틱 다국어 SEO 및 성능 최적화
AllUtility는 클라이언트 전용 웹 애플리케이션이 겪기 쉬운 검색 엔진 색인 한계를 정밀한 빌드 타임 SSR과 프로그래매틱 SEO로 극복했습니다:
- @nuxtjs/i18n 기반 3개 국어 정밀 색인: 한국어, 영어, 일본어 3개 언어 버전을 라우트 단위로 분리하고, 모든 언어별 페이지에 상호 검증된
hreflang태그와 정규 URL(canonical)을 자동 주입합니다. - 도구별 Schema.org SoftwareApplication 구조화 데이터: 구글 검색 봇이 30여 개 도구의 기능과 사양을 명확히 인식할 수 있도록 각 도구 페이지마다 풍부한 JSON-LD 스키마를 동적으로 배포했습니다.
- 코드 스플리팅과 온디맨드 청크 로딩: Three.js, pdf-lib, WASM 바이트코드 등 중량 라이브러리는 해당 도구에 진입하는 순간에만 동적
import()로 지연 로딩하여, 초기 플랫폼 진입 시 First Contentful Paint(FCP) 0.8초 미만의 고속 로딩 성능을 확보했습니다.
AllUtility 웹 도구 플랫폼은 정밀한 엔지니어링과 사용자의 프라이버시를 타협하지 않는 브라우저 완결형 소프트웨어의 가능성을 입증하고 있습니다.