智能数据分析侦探助手

## 概述

智能数据分析侦探助手是一款面向数据分析师与业务决策者的 AI 技能。它能够在用户上传原始数据集后，自动完成数据清洗、统计检验、趋势可视化以及异常值检测，并输出结构化的分析报告。通过严谨的统计学方法与可视化手段，帮助用户快速定位业务痛点、发现潜在机会，从而实现数据驱动的决策。

## 适用场景

- 用户上传 CSV、Excel、JSON 等常见格式的数据文件并请求深入分析。
- 需要对业务指标进行趋势跟踪、季节性分解或周期性分析。
- 对关键绩效指标（KPI）出现异常波动时进行根因诊断。
- 对比不同子群或实验组之间的差异，评估实验效果。
- 在缺乏领域专家的情况下，需要快速获得统计显著性和可解释的业务洞察。

## 使用步骤

1. **数据接收**：系统自动识别文件类型（CSV、Excel、JSON 等），读取原始数据并生成数据概览（行数、列数、字段类型）。
2. **数据清洗**：
   - 检测缺失值并进行填补（均值、众数或前向/后向填充）或标记为缺失。
   - 识别异常值（基于 Z‑score、IQR 或 Isolation Forest），提供可视化箱线图。
   - 统一数据格式（日期、货币、数值），去除重复记录。
3. **统计检验**：
   - **描述性统计**：均值、标准差、分位数、偏度、峰度等。
   - **假设检验**：t 检验、卡方检验、ANOVA、Mann‑Whitney U 检验等，依据变量类型自动选择。
   - **相关性分析**：皮尔逊、斯皮尔曼相关系数矩阵，绘制热力图。
4. **趋势与模式挖掘**：
   - 时间序列分解（趋势、季节、残差），绘制季节图。
   - 回归建模：线性回归、逻辑回归、随机森林回归，提供特征重要性。
   - 聚类分析：K‑means、DBSCAN，自动评估最佳聚类数（肘部法则、轮廓系数）。
5. **异常检测**：
   - 使用 IQR、Z‑score、Isolation Forest、Prophet 等模型识别异常点。
   - 为每个异常点标注可能的原因（如极端天气、促销等），并给出可视化时间线。
6. **报告生成**：
   - 汇总关键发现，提供可下载的 Markdown/PDF 报告。
   - 报告结构包括：**业务背景 → 数据概览 → 关键指标 → 统计检验结果 → 趋势图 → 异常点解释 → 建议行动**。
7. **交互式提问**：用户可对报告中的任意结论进行追问，系统返回细化分析或提供额外的可视化图表。

## 关键技术与方法

- **描述性统计**：集中趋势（均值、中位数）、离散程度（方差、四分位距）。
- **假设检验**：单样本 t 检验、双样本 t 检验、配对 t 检验、卡方独立性检验、F 检验。
- **回归分析**：线性回归、岭回归、Lasso 回归、逻辑回归、随机森林回归。
- **时间序列**：ARIMA、SARIMA、Prophet、季节分解（STL）。
- **异常检测**：基于统计（IQR、Z‑score）与机器学习（Isolation Forest、One‑Class SVM）。
- **聚类算法**：K‑means、层次聚类、DBSCAN，辅以轮廓系数评估。
- **可视化库**：Matplotlib、Seaborn、Plotly、ECharts，支持交互式图表。

## 注意事项

1. **数据格式**：确保上传的文件为结构化数据，非结构化文本需先进行特征抽取。
2. **缺失值处理**：根据业务需求选择填补或删除，务必在报告中说明处理方式，以免误导。
3. **统计显著性**：p 值小于 0.05 并不一定代表业务价值，需结合效应大小（ Cohen's d、η²）综合判断。
4. **异常解释**：系统自动标注异常点，用户应核对是否因数据录入错误或外部因素导致，避免误判。
5. **可解释性**：在生成模型解释（如特征重要性）时，提供简要的业务语义解释，以帮助非技术人员理解。
6. **安全与隐私**：上传的数据在分析前会进行脱敏处理；涉及个人隐私的字段必须进行加密或删除。
7. **结果时效**：如果数据为实时流，请标明数据采集时间区间，防止基于过期数据的错误决策。

## 示例

假设一家电商公司在 2023 年 1 月至 2023 年 12 月期间的销售数据（CSV）已上传至平台。智能数据分析侦探助手的分析流程如下：

1. **数据概览**：读取 365 行、12 列（日期、品类、销量、客单价、库存、渠道等）。
2. **缺失值检测**：发现“客单价”在 3 月 15 日至 3 月 20 日缺失，使用线性插值填补。
3. **统计检验**：
   - 对比 2023 年上半年与下半年的平均日销量，使用独立样本 t 检验，p = 0.034（显著），效应大小 d = 0.45（中等到大）。
   - 对渠道（线上、线下）销量进行卡方检验，χ² = 28.3，p < 0.001，表明渠道销量分布差异显著。
4. **趋势分析**：使用 SARIMA（1,1,1）(1,1,1,12) 对月度销量进行分解，提取出明显的季节性（每年 11 月‑12 月销量峰值）以及上升趋势。
5. **异常检测**：在 2023 年 6 月 1 日至 6 月 5 日期间，系统标记出异常低销量（低于 IQR 下界 30%），进一步追溯发现该期间平台进行系统维护。
6. **报告输出**：生成 Markdown 报告，包含关键指标仪表盘、趋势折线图、渠道对比柱状图、异常点标记图以及业务建议：
   - 建议在系统维护窗口前提前预警并安排促销，以抵消销量波动。
   - 建议在 11 月‑12 月加大库存投入，满足季节性需求。

通过上述完整流程，用户可以在几分钟内获取专业、可靠的分析结果，并依据报告快速制定业务决策。