RTX 2060 SUPER + Llama 3B VS 8B 한국어 실사용 벤치마크: 속도·VRAM·분석

🎥 'PKC Project' 업로드 영상: LLM Bllossom 3B vs 8B 벤치마크

 

RTX2060 super llm llama 8B performance

English Translation

주제: RTX 2060 SUPER 기반 Llama 8B 성능 및 한국어 실사용성 비교

테스트 모델: Q4 양자화된 공개 모델 (Bllossom-3B, Bllossom-8B)

테스트 환경: RTX 2060 SUPER 8GB

 

📊 Bllossom-3B vs Bllossom-8B 상세 비교

구분Bllossom-3BBllossom-8B

모델 상태	일부 프롬프트에서 ⚠️ 품질 저하 표시	모든 프롬프트 ✅ 성공
로드 시간 (Load)	약 2.2초	약 2.6초
VRAM 사용량	평균 4.19 ~ 4.24GB	평균 6.91 ~ 6.96GB
소비 전력 (Power)	160~170W	172~173W
온도 (Temp)	67~68℃	67~70℃
CPU 사용률	28% ~ 41%	24% ~ 46%
TTFT (첫 토큰 대기 시간)	약 20~36ms	약 38~51ms
TPS (초당 토큰 처리 속도)	79~80 tok/s	46 tok/s
추론 시간 (Inference)	0.0000 (표기 오류 가능)	0.0000 (표기 오류 가능)
출력 특성	- 한국어·영어·중국어·스페인어 등이 섞임 (혼종 출력)-같은 답변이 반복되는 현상 발생 - 대화 맥락 유지력이 떨어짐	- 한국어 중심으로 안정적 출력 - 감정 태깅(예: 기대 80%, 불안 40%) 포함 - 답변이 구체적이고 체계적
출력 내용 예시	- “really big thing happened” 같은 영어 반복 - 乐观, Friendship, realmente 같은 중문·스페인어 혼합	- 프롬프트에 맞는 자연스러운 한국어 답변 - 상황별 조언(시간 관리, 스트레스 해소 등) - 감정 분류(기대, 불안, 공포 등) 추가

✨ 총평 및 결론

Bllossom-3B: 가볍고 VRAM을 적게 먹어 로딩 속도(2.2초)와 TTFT는 빠르지만,

출력이 혼종 언어 + 반복 문제로 품질이 떨어져 실사용 안정성이 낮습니다.

디버깅용/실험용으로는 괜찮으나, 실제 서비스에 적용하기에는 불안정합니다.

 

Bllossom-8B: VRAM(약 6.9GB)과 전력 소모가 3B 대비 크지만,

훨씬 안정적인 한국어 출력과 대화 맥락 유지력, 그리고 감정 분석 기능이 뛰어납니다.

TPS는 낮지만, TTFT가 51ms 이내로 우수하여 실제 대화/서비스 환경에 매우 적합한 모델로 평가됩니다.