PKC 벤치마크 툴 MARK (공개용) 분석 보고서

English Translation

PKC 벤치마크 툴 MARK (공개용) 분석 보고서

📋 전체 개요

이 프로젝트는 AI 모델 성능 측정 도구입니다. 쉽게 말해서 "AI 모델이 얼마나 빠르고 정확하게 작동하는지 테스트하는 프로그램"입니다.

 

한국어 성능 테스트 영상: [링크]

🎯 주요 기능

1. 원클릭 설치

• Windows: OneClick_RUN.bat 더블클릭
• macOS: oneclick.command 더블클릭
• Linux: oneclick.sh 실행
• → 복잡한 설정 없이 바로 사용 가능

2. AI 모델 자동 관리

• HuggingFace에서 모델 검색/다운로드
• GGUF, Transformers 형식 자동 감지
• → 사용자가 직접 모델을 찾아 설치할 필요 없음

3. 성능 측정

• 응답 속도 (TPS - 초당 토큰 수)
• 메모리 사용량 (VRAM)
• 첫 응답 시간 (TTFT)
• GPU 온도/전력 소모
• → AI 모델의 실제 성능을 숫자로 확인

4. 실시간 채팅 테스트

• 벤치마크 완료 후 모델과 직접 대화
• → 성능 측정뿐만 아니라 실제 사용성도 확인

🏗️ 기술 구조

백엔드 (서버)

• 언어: Python
• 프레임워크: FastAPI
• 주요 역할: 모델 로딩, 성능 측정, API 제공

프론트엔드 (사용자 인터페이스)

• 언어: HTML + JavaScript
• 스타일: Tailwind CSS
• 주요 역할: 사용자 조작, 결과 시각화

설치/실행 스크립트

• Windows: .bat 배치 파일
• Linux/macOS: .sh 쉘 스크립트
• 주요 역할: 자동 환경 설정, 의존성 설치

📊 지원 플랫폼

운영체제지원 수준비고

Windows 10/11	✅ 완벽 지원	권장 환경
macOS (Intel/M1/M2/M3)	✅ 완벽 지원	Metal 가속 지원
Ubuntu/Debian Linux	✅ 완벽 지원	CUDA 지원
기타 Linux	✅ 대부분 지원

🎮 GPU 지원

GPU 종류지원 수준설명

NVIDIA (CUDA)	✅ 완벽 최적화	RTX, GTX 시리즈
Apple Silicon	✅ 완벽 최적화	M1/M2/M3 Metal 가속
CPU 전용	✅ 완벽 지원	모든 환경에서 동작
AMD GPU	⚠️ 실험적	Linux ROCm 부분 지원

🔧 핵심 파일 역할

실행 파일들

• OneClick_RUN.bat (Windows용) / oneclick.sh (Linux/Mac용)
  • 역할: 한 번의 클릭으로 모든 설치와 실행을 자동화
  • 과정: Python 가상환경 생성 → 라이브러리 설치 → 서버 시작 → 브라우저 열기

핵심 프로그램

• benchmark_server.py
  • 역할: 메인 서버 프로그램
  • 기능: 모델 로딩, 성능 측정, 웹 API 제공, HuggingFace 연동
• benchmark_canvas.html
  • 역할: 사용자 인터페이스
  • 기능: 모델 선택, 설정 조정, 결과 확인, 차트 표시

설정 파일들

• requirements.txt: 필요한 Python 라이브러리 목록
• config_json_public.json: 프로그램 설정값들
• models_json_public.json: 모델 정보 관리

유틸리티

• install_wizard.py: GPU 최적화 자동 설치 도구

🌟 프로젝트의 강점

1. 사용자 친화성

• 원클릭 설치로 진입 장벽 최소화
• 직관적인 웹 인터페이스
• 한국어/영어 다국어 지원

2. 기술적 완성도

• 크로스 플랫폼 지원 (Windows/Mac/Linux)
• 다양한 GPU 최적화 (NVIDIA/Apple/AMD)
• 실시간 성능 모니터링

3. 확장성

• HuggingFace 생태계 완전 연동
• 모듈화된 아키텍처
• API 기반 설계

4. 실용성

• 실제 성능 데이터 제공
• 모델 비교 기능
• 채팅 테스트로 실사용성 확인

🎯 대상 사용자

1. AI 개발자: 모델 성능 비교 및 최적화
2. 연구자: 벤치마크 데이터 수집
3. 일반 사용자: AI 모델 체험 및 테스트
4. 기업: 프로덕션 환경 성능 검증 (라이센스 확인 필수.)

📈 활용 시나리오

개발 단계

• 새로운 모델의 성능 측정
• 하드웨어별 최적화 확인
• 메모리 사용량 분석

연구 단계

• 모델 간 성능 비교
• 벤치마크 데이터 수집
• 논문용 실험 데이터 생성

운영 단계

• 프로덕션 환경 성능 검증
• 서버 리소스 계획
• 비용 효율성 분석

---

결론: 이 프로젝트는 AI 모델 성능 측정이라는 전문적인 작업을 누구나 쉽게 할 수 있도록 만든 완성도 높은 도구입니다. 특히 설치의 복잡함 없이 바로 사용할 수 있도록 설계된 점이 가장 큰 장점입니다.

 

PKC 밴치마크 툴은 수정 작업을 거쳐 이 블로그에서 배포 예정입니다. (언제가 될지 모르겠지만...)