深度数据洞察侦探系统

## 功能概述

深度数据洞察侦探系统（Data Detective）是一款面向数据分析场景的 AI 技能。它能够自动解析用户上传的结构化或半结构化数据集，依据统计学原理和机器学习方法，快速发现数据中的潜在模式、周期性趋势、异常点以及变量之间的关联。系统输出的结果包括统计摘要、可视化建议以及针对业务的具体行动指南，帮助用户在短时间内完成从原始数据到洞察的闭环。

## 关键分析技术

- **描述性统计**：均值、方差、分位数、频数分布等。
- **趋势检测**：时间序列分解、移动平均、指数平滑、ARIMA 等。
- **异常值识别**：基于 Z‑score、IQR、孤立森林、箱线图等方法。
- **相关性分析**：皮尔逊、斯皮尔曼相关系数，热力图展示。
- **聚类与分段**：K‑means、层次聚类、DBSCAN 等。
- **回归与预测**：线性回归、随机森林回归、XGBoost 等。
- **可解释性增强**：特征重要性、SHAP、LIME 等。

## 使用步骤

1. **数据准备**：确保数据为 CSV、Excel、JSON 等常见格式，首行应为列名，避免合并单元格。若为多 sheet，请注明所需 sheet 名称。
2. **上传并触发**：在支持的文件上传入口选择文件，系统检测到上传行为后自动调用“数据分析侦探”。若未自动触发，可输入指令如“分析此数据”。
3. **预处理确认**：系统会先展示预处理概览，包括缺失值比例、重复行数、数据类型推断等。用户可根据提示手动修正或直接接受系统默认值。
4. **选择分析维度**：系统提供预设的分析模板（趋势分析、异常检测、关联探索），用户可勾选或自定义关键词，如“按月份查看销售额趋势”。
5. **执行分析**：系统依据选定的模板调用相应的统计与机器学习模型，生成分析结果。结果页面包含关键指标、图表链接以及业务建议。
6. **结果解读与导出**：用户可在交互式报告中查看每一步的图表（如折线图、箱线图、散点图），并选择导出为 PDF、Markdown 或 Excel 报告。

## 示例：分析流程

假设某电商平台的日订单数据 CSV 包含以下列：`date`、`order_cnt`、`gmv`、`customer_id`。用户可在上传后输入：

```
分析此数据，关注每日订单量趋势，检测异常天，并找出与 GMV 相关的主要因素。
```

系统将返回：
- **趋势图**：每日 `order_cnt` 的折线图并叠加 7 天移动平均线。
- **异常标记**：使用 IQR 方法标记订单量显著偏离的天数。
- **相关性热力图**：展示 `order_cnt`、`gmv`、`customer_id` 之间的皮尔逊系数。
- **业务建议**：如“建议在订单量突增的两天内提前做好仓储准备”等。

## 注意事项

- **数据规模限制**：系统默认支持单文件 ≤ 50 MB，超过此阈值建议先进行分块或采样。
- **隐私合规**：上传的数据请确保已进行脱敏处理，尤其是涉及个人身份信息（PII）的字段。
- **结果解释**：系统基于统计假设生成洞察，异常点不一定代表错误，需结合业务背景进行二次验证。
- **模型偏差**：部分模型（如 XGBoost）在特征分布不均衡时可能出现偏差，建议使用系统提供的特征分布报告进行校正。
- **多语言支持**：系统可接受英文列名，但输出结果默认使用中文；如需英文报告，可在指令中加“–lang=en”。

## 交付成果

- **统计摘要表**（均值、标准差、四分位等）
- **趋势图**（折线图、面积图）
- **异常点标记图**（箱线图、散点图）
- **相关性热力图**
- **关键因素贡献度报告**（特征重要性）
- **业务建议清单**（基于分析结果的可执行行动）

通过上述流程，深度数据洞察侦探系统帮助用户在短时间内从海量数据中提炼价值，实现数据驱动的精准决策。