数据侦探：洞察趋势与异常

## 功能概述

数据侦探是一款面向结构化数据的分析技能，旨在帮助用户在上传或提供数据集后，自动完成趋势检测、离群点识别以及统计显著性检验，并生成易于阅读的分析报告。通过多维度可视化与可解释的统计模型，用户能够快速捕捉业务关键变化，制定数据驱动的决策。

## 适用场景

- **业务监控**：实时追踪 KPI 的波动，发现异常波动并定位根因。
- **市场研究**：分析用户行为、购买路径等数据，挖掘潜在需求和细分市场。
- **质量控制**：检测生产过程中的异常批次，提升产品合格率。
- **金融风控**：识别交易异常、信用评分异常等风险信号。
- **学术科研**：对实验数据进行探索性分析，验证假设。

## 调用步骤

1. **准备数据**
   - 确保数据为 CSV、TSV、Excel（.xlsx/.xls）或 JSON 格式。
   - 第一行应为列名，且列名不含特殊字符。
   - 如有缺失值，请提前使用占位符（如 `NULL`、`NA`）标注，系统会自动进行缺失值处理。

2. **触发分析**
   - 用户通过对话上传文件或粘贴数据链接，例如：`请分析附件 data.csv`
   - 系统识别后，返回分析配置界面，用户可选择关键维度、时间戳列以及目标变量。

3. **执行分析**
   - **趋势分析**：采用移动平均、季节性分解（STL）等方法，描绘变量随时间的走势。
   - **离群点检测**：基于 IQR、Z‑score 或 Isolation Forest 模型，标记显著偏离常规的记录。
   - **统计检验**：根据数据类型自动选择 t‑检验、卡方检验或非参数检验，判断关键差异是否具有显著性。
   - **关联分析**：使用 Pearson、Spearman 相关系数或互信息，揭示变量之间的潜在关系。

4. **查看报告**
   - 报告包括文字摘要、关键图表（如折线图、箱线图、热力图）以及可导出的 CSV/Excel 结果。
   - 用户可点击「导出」获取完整报告或只下载异常记录。

5. **后续行动**
   - 根据报告中的洞察，用户可以进一步进行细分分析、模型构建或业务流程优化。

## 示例代码（Python）

```python
import requests
import json

# 1. 上传数据集
url = "https://api.example.com/v1/dataset/upload"
files = {"file": open("sales_data.csv", "rb")}
resp = requests.post(url, files=files)
dataset_id = resp.json()["dataset_id"]

# 2. 触发分析
analysis_url = "https://api.example.com/v1/analysis/start"
payload = {
    "dataset_id": dataset_id,
    "columns": ["date", "sales", "cost", "region"],
    "time_column": "date",
    "target": "sales"
}
headers = {"Authorization": "Bearer YOUR_TOKEN"}
resp = requests.post(analysis_url, json=payload, headers=headers)
analysis_id = resp.json()["analysis_id"]

# 3. 获取分析报告
report_url = f"https://api.example.com/v1/analysis/{analysis_id}/report"
resp = requests.get(report_url, headers=headers)
report = resp.json()
print(json.dumps(report, indent=2, ensure_ascii=False))
```

## 注意事项

- **数据隐私**：上传的数据仅用于本次分析，系统会在报告生成后自动清除临时副本，除非用户主动选择保存。
- **缺失值处理**：系统默认采用均值/中位数填补数值型缺失值，类别型采用众数。若想使用自定义策略，请在上传前自行预处理。
- **离群点阈值**：默认使用 1.5×IQR，可根据业务需求在配置阶段调低（如 1.0）或调高（3.0），以获得更严格或宽松的异常判定。
- **时间序列要求**：若选择时间序列分析，务必确保时间戳列已按升序排列且不含重复点。
- **大文件限制**：单次上传文件大小上限为 200 MB，若数据量更大请先进行分块或降采样。
- **多语言支持**：报告可生成中文、英文或日文版本，系统会根据对话语言自动切换。
- **异常记录处理**：检测到的离群点仅作提示，是否剔除或进一步调查由业务决定，系统不自行删除数据。
- **统计显著性**：在进行假设检验时，系统会输出 p‑值、置信区间以及效应量，请结合业务背景综合判断。

通过上述流程，数据侦探能够快速将原始数据转化为可操作的洞察，帮助用户在海量信息中精准定位关键趋势与异常，实现数据驱动的业务提升。