数据分析侦探实战指南

## 技能简介
数据分析侦探是一项面向结构化和半结构化数据的智能分析能力。它能够对上传的数据集进行多维度统计检验、趋势提取、异常检测，并基于结果生成通俗易懂的报告，帮助用户快速发现业务价值点。该技能兼顾灵活性与严谨性，适合需要进行探索性数据分析（EDA）、业务监控或科研数据审查的场景。

## 触发条件
当用户在对话中上传数据集（CSV、Excel、JSON 等常见格式）并明确请求分析时，系统将自动调用本技能。

## 使用步骤
1. **上传数据**
   - 支持文件大小 ≤ 200 MB，单个文件编码建议使用 UTF‑8。
   - 若文件包含多个工作表，请注明需要分析的 sheet 名称或索引。
2. **选择分析类型**
   - **趋势分析**：时间序列分解、趋势线拟合、季节性检验。
   - **异常检测**：基于统计阈值、Isolation Forest、LOF 等算法的离群点标记。
   - **统计摘要**：均值、标准差、分位数、频数分布等描述性统计。
   - **关联探索**：相关系数、卡方检验、回归模型（线性、逻辑）等。
3. **配置参数**（可选）
   - 显著性水平（α）默认 0.05。
   - 置信区间宽度、异常值阈值、分组字段（如需分层分析）。
   - 是否生成可视化图表（折线图、箱线图、热力图等）。
4. **启动分析**
   - 系统自动进行数据清洗（缺失值填补、异常值平滑）、特征转换，随后执行选定的统计模型。
5. **查看结果**
   - **报告概览**：关键指标一览（如总体趋势方向、异常点数量、显著特征列表）。
   - **图表展示**：交互式图表，支持缩放、悬停查看具体数值。
   - **结论解释**：基于 p 值、效应量、置信区间的业务解释。
6. **导出报告**
   - 可选择 PDF（带图表）或 CSV（异常点列表）导出，方便后续文档归档或二次分析。

## 核心技术
- **数据预处理**：自动识别并填补缺失值（均值/中位数/插值），对极端值进行 Winsorize 处理，确保模型稳健。
- **统计方法**：
  - 描述性统计：均值、标准差、偏度、峰度、分位数。
  - 假设检验：t 检验、ANOVA、卡方检验、Mann‑Whitney U 检验。
  - 回归分析：线性回归、逻辑回归、岭回归（L2 正则化）。
  - 时间序列：季节性分解（STL）、ARIMA、指数平滑。
  - 异常检测：基于分布的 Z‑score、IQR、Isolation Forest、Local Outlier Factor（LOF）。
- **可视化**：使用 Matplotlib、Seaborn、Plotly 生成静态/交互式图表。
- **解释性 AI**：利用 SHAP、LIME 对复杂模型（如随机森林）提供特征贡献度解释。

## 注意事项
- **数据隐私**：请确保上传的数据已完成脱敏处理，符合当地数据保护法规（如 GDPR、个人信息保护法）。系统仅在会话期间临时存储数据，结束后自动删除。
- **规模限制**：若数据量超过 200 MB，系统会提示分块上传或使用增量分析模式。
- **统计显著性 ≠ 业务意义**：报告中的 p 值仅表示抽样误差可能性，实际业务决策仍需结合成本、风险等因素综合评估。
- **环境依赖**：后台运行环境已预装 pandas、numpy、scipy、scikit-learn、statsmodels、matplotlib、seaborn、plotly，用户无需额外安装。
- **异常检测阈值**：若选择自动化阈值，建议先在少量样本上进行人工校验，以防误报或漏报。
- **多语言/编码**：若文件使用非 UTF‑8 编码（如 GBK），请在上传时标注，系统会尝试自动转换。

## 示例流程
1. **上传**：用户上传 `sales_2023.csv`，包含 2023 年每日销售额、地区、渠道字段。
2. **选择**：勾选 “趋势分析 + 异常检测”。
3. **配置**：显著性水平 0.05，异常阈值 3 倍标准差，地区作为分组字段。
4. **分析**：系统返回：
   - 总体趋势：年度累计增长 12%，其中 Q4 增速放缓至 5%。
   - 异常点：12 月 25 日、1 月 1 日出现销量骤降（低于阈值 3σ），标记为节假日效应。
   - 统计显著地区：华东地区增长显著（p=0.003），西部增长不显著（p=0.21）。
5. **导出**：用户点击 “下载 PDF”，获得包含折线图、箱线图的完整报告。

## 常见问题
- **Q: 如何处理缺失值？**
  - A: 系统默认采用 “均值/中位数” 自动填补；若缺失率 > 30%，会在报告中提示并建议删除或使用多重插补。
- **Q: 分析耗时很长怎么办？**
  - A: 检查数据规模，尝试开启 “抽样分析” 选项（随机抽取 10% 数据快速预览），确认后再全量运行。
- **Q: 如何解读 p 值？**
  - A: p < 0.05 表示在原假设成立的前提下，观察到的差异出现的概率 < 5%，可视为统计学显著；但实际业务影响仍需结合效应量（如 Cohen’s d）评估。
- **Q: 报告中的图表可以编辑吗？**
  - A: PDF 报告为静态图像；若需交互式编辑，建议下载 Plotly JSON 格式，在 Jupyter Notebook 中重新渲染。

---
**使用提示**：在使用数据分析侦探时，请先明确业务目标（如 “提升销量” 或 “降低退货率”），这样系统可以更精准地聚焦关键指标，提供更具价值的洞察。