数据分析侦探全流程指南

# 数据分析侦探全流程指南

## 简介
数据分析侦探是一种系统性、结构化的大数据分析方法，旨在通过统计手段深入挖掘数据集的价值，快速定位趋势、异常点，并提供可操作的业务建议。该技能适用于结构化表格数据、时序数据以及文本特征数据。

## 适用场景
- 用户上传 CSV、Excel、JSON 等常见格式的原始数据并明确要求分析。
- 需要对业务指标进行趋势监控、对比分析或异常告警。
- 期望通过数据洞察驱动决策、制定营销策略或优化产品功能。

## 触发条件
- 当用户发送文件（附件）或提供文件路径，并使用“分析”“侦探”“洞察”等关键词时，系统自动调用本技能。
- 若数据量超过 10 万行或包含高维特征，优先使用抽样或分布式计算。

## 准备工作
1. **环境检查**：确保已安装 Python 3.9+，pandas、numpy、scipy、matplotlib、seaborn、plotly、statsmodels、pingouin 等常用库。
2. **依赖加载**：在脚本顶部导入所需库并设置中文字体、绘图风格。
3. **数据读取**：使用 `pd.read_csv`、`pd.read_excel` 或自定义解析函数读取数据。
4. **初步审查**：打印 `df.shape`、`df.dtypes`、`df.head()` 确认数据结构、缺失值、异常值。

## 分析步骤
### 步骤 1：数据清洗
- **缺失值处理**：若缺失比例 <5%，可使用均值/中位数填充；若 >20%，建议标记为独立类别或使用模型预测填补。
- **统一数据类型**：日期列转为 `datetime`，类别列转为 `category`。
- **异常值过滤**：基于 IQR（四分位距）或 Z‑score 检测显著偏离的观测。

### 步骤 2：描述性统计
- 计算均值、标准差、偏度、峰度等中心与离散指标。
- 生成频率表，绘制直方图、箱线图，快速了解分布特征。

### 步骤 3：可视化探索
- 使用折线图展示时间序列趋势，条形图对比分组差异，热力图显示变量间相关矩阵。
- 结合交互式图表（Plotly）提供缩放、筛选功能，便于业务人员自行探索。

### 步骤 4：趋势与周期性检验
- 对时间序列进行季节性分解（STL）或使用 `statsmodels.tsa.seasonal_decompose`。
- 进行自相关分析（ACF/PACF）判断滞后效应，必要时构建 ARIMA、Prophet 模型进行预测。

### 步骤 5：异常检测
- **统计方法**：基于 IQR、Z‑score、Grubbs 检测。
- **机器学习方法**：Isolation Forest、One‑Class SVM、DBSCAN 聚类。
- **业务阈值**：结合 KPI 阈值（如转化率 <1%）设定告警规则。

### 步骤 6：关键洞察提炼
- 通过分组聚合（`groupby`）比较不同维度的表现，找出最高增长或下降的细分市场。
- 计算边际贡献、归因分析（Shapley 值），定位关键驱动因素。

### 步骤 7：生成报告
- **结构**：执行摘要 → 方法概述 → 可视化图表 → 统计结果 → 业务建议 → 附录（代码、数据字典）。
- **输出形式**：Markdown + 可视化截图，或导出为 PDF、PowerPoint。
- **可复现**：提供完整的 Python 脚本与数据清洗日志，确保审阅者能够复现结果。

## 常见统计方法概览
| 方法 | 适用场景 | 关键参数 |
|------|----------|----------|
| t 检验 | 两组均值比较 | `alternative`, `alpha` |
| ANOVA | 多组均值比较 | `groups`, `confidence` |
| 卡方检验 | 类别关联性 | `observed`, `expected` |
| Mann‑Whitney U | 非正态分布差异 | `alternative` |
| 线性回归 | 预测连续变量 | `features`, `target`, `fit_intercept` |
| 逻辑回归 | 预测二分类 | `penalty`, `C` |
| 聚类（K‑means） | 细分用户群体 | `n_clusters`, `init` |

## 注意事项
1. **数据隐私**：在报告或图表中切勿直接暴露个人身份信息（PII），必要时进行脱敏处理。
2. **统计显著性**：仅凭 p‑value 小于 0.05 不代表业务价值显著，需结合效应量（Effect Size）评估。
3. **多重比较校正**：若在同一分析中进行多次假设检验，请使用 Bonferroni 或 FDR 校正以控制误报率。
4. **模型解释性**：对黑盒模型（随机森林、XGBoost）提供特征重要性或 SHAP 值解释，以增强业务可接受度。
5. **可重复性**：所有脚本应固定随机种子（`np.random.seed(42)`），并记录环境依赖版本（requirements.txt）。
6. **异常阈值设定**：异常检测阈值应基于业务背景和历史基准，避免盲目采用统计阈值导致误报。

## 结语
数据分析侦探并非一次性任务，而是一个闭环的持续改进过程。通过严谨的统计方法、可视化交互以及业务导向的洞察提炼，帮助组织在海量数据中快速捕获价值、规避风险，并实现数据驱动的精细化运营。

---
*本技能文档遵循《数据分析最佳实践指南》编写，适合 AI 助手的自动化调用与人工审查。*