Dooroo2025_v1.0: 여수 관광 특화 챗봇 모델

이 모델은 unsloth/Qwen3-4B-Instruct-2507 모델을 기반으로, 대한민국 여수시의 관광 정보와 섬 정보에 대해 특화된 지식을 갖도록 파인튜닝되었습니다.

Unsloth 라이브러리를 사용하여 LoRA(Low-Rank Adaptation) 기법으로 효율적인 학습을 진행했으며, 여수 여행에 관한 질문에 자연스럽고 정확한 답변을 생성하는 것을 목표로 합니다.

🛠️ 학습 과정 (Training Procedure)

1. 기반 모델 (Base Model)

  * Model: unsloth/Qwen3-4B-Instruct-2507   * Library: Unsloth를 사용하여 메모리 사용량을 최적화하고 학습 속도를 크게 향상시켰습니다.

2. 데이터셋 (Dataset)

학습에는 아래 두 가지 데이터셋을 병합하여 사용했습니다. 각 데이터셋의 train과 test 스플릿을 합친 후, train 데이터셋은 무작위로 섞어 모델이 특정 주제에 편향되지 않도록 했습니다.

  * kingkim/yeosu_tour: 여수 관광 명소 관련 데이터   * kingkim/yeosu_island: 여수 섬 관련 데이터

3. 하이퍼파라미터 (Hyperparameters)

모델 학습에 사용된 주요 하이퍼파라미터는 다음과 같습니다.

LoRA 설정

파라미터	값	설명
r	16	LoRA 행렬의 랭크 (rank)
lora_alpha	32	LoRA 스케일링 인자
lora_dropout	0.05	LoRA 레이어의 드롭아웃 비율
target_modules	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj	LoRA를 적용할 대상 모듈

Training Arguments

파라미터	값	설명
num_train_epochs	30	총 학습 에포크 수
learning_rate	4e-6	학습률
per_device_train_batch_size	32	디바이스당 학습 배치 크기
gradient_accumulation_steps	2	그래디언트 누적 스텝
optimizer	adamw_8bit	8비트 AdamW 옵티마이저
lr_scheduler_type	linear	선형 학습률 스케줄러

📊 평가 결과 (Evaluation Results)

학습 손실 (Training Loss)

eval_dataset에 대한 최종 평가 결과입니다. Loss는 모델이 예측한 값과 실제 값의 차이를 나타내며, 낮을수록 모델의 성능이 좋음을 의미합니다.

메트릭 (Metric)	값 (Value)
eval_loss	1.2925
eval_runtime	30.8675 초
eval_samples_per_second	68.556
eval_steps_per_second	8.585
epoch	30.0

외부 전문기관 평가

외부 전문기관의 LLM 품질 평가 결과, 총점 4.5/5점 이상을 획득하여 목표치를 달성했습니다. 이는 경쟁 모델인 GPT-3.5의 평균 점수(4.43)를 상회하는 수준이며, 계획서에 설정된 개별 목표(유창성, 일관성, 정확성, 완결성)의 평균 목표치인 4.425점을 넘는 결과입니다.

지표	계획	실적	달성 여부
LLM 품질(총점)	평균 4.425	≥ 4.5/5 (전문기관 평가)	달성 (GPT-3.5 평균 4.43 상회)