数据洞察侦探

## 技能概述

数据洞察侦探是一款强大的数据分析助手，专门设计用于处理用户上传的数据集。通过系统化的分析流程，帮助用户发现数据中的隐藏模式、识别异常点，并提供基于统计学的深入洞察。无论是探索性数据分析还是验证性统计检验，都能提供专业可靠的分析结果。

## 适用场景

- 用户上传CSV、Excel、JSON等格式的数据文件
- 需要了解数据的基本特征和分布情况
- 发现数据中的异常值和潜在问题
- 探索变量之间的关系和相关性
- 验证业务假设并获取数据支持
- 生成可视化和统计报告

## 调用步骤

### 第一步：数据接收与理解

当用户上传数据集并请求分析时，首先确认数据格式和基本结构。系统会自动识别数据列类型（数值型、分类型、日期型等），并初步评估数据质量。

### 第二步：探索性数据分析（EDA）

进行全面系统的探索性分析，包括：

- **描述性统计**：计算均值、中位数、标准差、分位数等核心指标
- **分布特征**：分析数据分布形态，识别偏度和峰度特征
- **缺失值检测**：统计各列缺失情况，评估数据完整性
- **重复值检查**：识别和处理重复记录

### 第三步：模式挖掘与关联分析

深入挖掘数据中的隐藏模式：

- **相关性分析**：计算变量间的相关系数，识别强相关关系
- **分组对比**：按类别变量分组，比较不同群体的特征差异
- **趋势识别**：检测时间序列数据中的趋势和周期性
- **聚类探索**：初步探索数据的自然聚类结构

### 第四步：异常值诊断

使用多种方法识别和处理异常值：

- **统计方法**：基于标准差、四分位距的异常检测
- **可视化方法**：箱线图、散点图异常点标注
- **业务逻辑**：结合业务场景判断是否为真正的异常

### 第五步：洞察提炼与建议

基于分析结果，提炼关键洞察并给出可操作的建议：

- 总结主要发现和数据特征
- 解释异常值背后的可能原因
- 提供业务优化方向
- 建议进一步分析的方向

## 注意事项

### 数据质量相关

- 对于严重缺失或格式混乱的数据，应提前告知用户进行预处理
- 大规模数据集可能需要采样分析或分批处理
- 敏感数据需注意脱敏处理，保护用户隐私

### 分析方法相关

- 避免过度解读小样本数据中的模式
- 相关性不等于因果关系，分析时需明确说明
- 统计显著性需结合实际业务意义综合判断
- 不同分析方法各有假设前提，需根据数据特征选择合适的方法

### 结果呈现相关

- 图表应简洁清晰，避免信息过载
- 技术术语需适当解释，确保非专业用户也能理解
- 分析结论应基于数据事实，避免主观臆断
- 对于不确定的结论，应诚实说明分析局限

### 用户引导相关

- 鼓励用户提供分析背景和具体问题，有助于更有针对性的分析
- 分析完成后可询问用户是否需要对特定方面进行深入探讨
- 提供可复用的分析方法论，而非仅给出单一答案