Lab 008：本地模型能不能胜任日常 Agent 编码？

# local-models.yaml
models:
  - name: "qwen2.5-coder-7b"
    size: "7B"
    quantization: "Q4_K_M"
    vram_required: "5GB"
    provider: "ollama"
    
  - name: "qwen2.5-coder-32b"
    size: "32B"
    quantization: "Q4_K_M"
    vram_required: "20GB"
    provider: "ollama"
    
  - name: "llama3-70b"
    size: "70B"
    quantization: "Q4_K_M"
    vram_required: "42GB"
    provider: "ollama"
    
  - name: "deepseek-coder-v2"
    size: "16B (MoE)"
    quantization: "Q4_K_M"
    vram_required: "12GB"
    provider: "ollama"
    
  - name: "codestral-22b"
    size: "22B"
    quantization: "Q4_K_M"
    vram_required: "14GB"
    provider: "lm-studio"

# 对比基线
baseline:
  - name: "claude-sonnet"
    provider: "anthropic"
  - name: "gpt-4o-mini"
    provider: "openai"

# local_model_config.py
"""
本地模型调用配置（Ollama / LM Studio）。
"""

# Ollama 配置
OLLAMA_CONFIG = {
    "base_url": "http://localhost:11434",
    "model": "qwen2.5-coder:32b",
    "options": {
        "temperature": 0.2,
        "top_p": 0.9,
        "num_ctx": 8192,        # 上下文窗口
        "num_predict": 2048,    # 最大生成长度
        "num_gpu": -1,          # 全部层放到 GPU
        "stop": ["</s>", "\n\n\n"],
    }
}

# LM Studio 配置（兼容 OpenAI API）
LM_STUDIO_CONFIG = {
    "base_url": "http://localhost:1234/v1",
    "api_key": "not-needed",
    "model": "local-model",
    "temperature": 0.2,
    "max_tokens": 2048,
}

# 模型预热（首次加载需要时间）
def warmup_model(model_name: str):
    """预加载模型到显存"""
    import requests
    response = requests.post(f"{OLLAMA_CONFIG['base_url']}/api/generate", json={
        "model": model_name,
        "prompt": "Hello",
        "stream": False,
        "options": {"num_predict": 1}
    })
    return response.status_code == 200

本地模型能力边界（32B 模型）：
  ✅ 可做（得分 > 0.7）：简单 Bugfix、代码补全、测试生成、文档生成
  ⚠️ 勉强可做（0.5-0.7）：中等 Bugfix、Code Review
  ❌ 不建议（< 0.5）：困难 Bugfix、大型重构、复杂架构设计

                    隐私要求
                    高 ┃ 低
                    ┃
   任务             ┃
   复杂度           ┃
   低 ━━━━━━━━━━━━━━╋━━━━━━━━━━━━━━
   (补全/格式化)    ┃ ✅ 本地模型    ✅ 云端便宜模型
                    ┃    7B-32B      (GPT-4o-mini)
                    ┃
   中 ━━━━━━━━━━━━━━╋━━━━━━━━━━━━━━
   (简单Bugfix)     ┃ ⚠️ 本地大模型   ✅ 云端 Sonnet
                    ┃    32B+         性价比更高
                    ┃
   高 ━━━━━━━━━━━━━━╋━━━━━━━━━━━━━━
   (重构/架构)      ┃ ❌ 本地模型     ✅ 云端 Opus
                    ┃    不推荐       本地模型质量不够
                    ┃

# 推荐的混合部署策略
routing:
  # 隐私敏感 + 简单任务 → 本地模型
  - condition: "data_sensitivity == 'HIGH' AND task.complexity == 'LOW'"
    model: "qwen2.5-coder:32b"
    reason: "代码不出云，32B 足够处理简单任务"
  
  # 隐私敏感 + 复杂任务 → 本地模型 + 分步处理
  - condition: "data_sensitivity == 'HIGH' AND task.complexity == 'HIGH'"
    model: "llama3:70b"
    fallback: "split_task"  # 拆成小任务分步完成
    reason: "70B 处理复杂任务，但需要拆分上下文"
  
  # 非隐私 + 简单任务 → 云端便宜模型
  - condition: "data_sensitivity == 'LOW' AND task.complexity == 'LOW'"
    model: "gpt-4o-mini"
    reason: "成本低，速度快，质量够用"
  
  # 非隐私 + 复杂任务 → 云端强模型
  - condition: "data_sensitivity == 'LOW' AND task.complexity == 'HIGH'"
    model: "claude-opus"
    reason: "最强模型处理最复杂的任务"