垦荒学园
  • 中文

      • Pandas 简介

      什么是 Pandas？

      Pandas 是 Python 中最重要的数据分析库之一，名字来源于 "Panel Data"（面板数据）。它提供了高性能、易用的数据结构和数据分析工具，是数据科学和分析领域的核心工具。

      🎯 Pandas 的核心特性

      1. 强大的数据结构

      • Series：一维标记数组，类似于带标签的列表
      • DataFrame：二维标记数据结构，类似于 Excel 表格或 SQL 表

      2. 灵活的数据处理

      • 数据读取和写入（CSV、Excel、JSON、SQL 等）
      • 数据清洗和预处理
      • 数据转换和重塑
      • 缺失数据处理

      3. 高效的数据分析

      • 描述性统计
      • 数据分组和聚合
      • 数据合并和连接
      • 时间序列分析

      🚀 为什么选择 Pandas？

      优势对比

      特性PandasExcelSQL
      数据量处理大数据集小到中等大数据集
      编程灵活性极高有限中等
      数据可视化集成 matplotlib内置图表需要其他工具
      自动化程度完全自动化手动操作脚本化
      学习曲线中等简单中等

      📊 Pandas 在数据科学中的地位

      # 典型的数据科学工作流
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 1. 数据获取
data = pd.read_csv('data.csv')

# 2. 数据探索
print(data.info())
print(data.describe())

# 3. 数据清洗
data_clean = data.dropna()

# 4. 数据分析
result = data_clean.groupby('category').mean()

# 5. 数据可视化
result.plot(kind='bar')
plt.show()

      🏢 Pandas 的应用场景

      1. 商业分析

      # 销售数据分析示例
sales_data = pd.DataFrame({
    '日期': ['2024-01-01', '2024-01-02', '2024-01-03'],
    '产品': ['A', 'B', 'A'],
    '销量': [100, 150, 120],
    '收入': [1000, 2250, 1200]
})

# 按产品统计总销量
product_sales = sales_data.groupby('产品')['销量'].sum()
print(product_sales)

      2. 金融分析

      # 股票数据分析示例
stock_data = pd.DataFrame({
    '日期': pd.date_range('2024-01-01', periods=5),
    '开盘价': [100, 102, 101, 103, 105],
    '收盘价': [102, 101, 103, 105, 107],
    '成交量': [1000, 1200, 800, 1500, 1100]
})

# 计算日收益率
stock_data['收益率'] = stock_data['收盘价'].pct_change()
print(stock_data)

      3. 科学研究

      # 实验数据分析示例
experiment_data = pd.DataFrame({
    '实验组': ['A', 'A', 'B', 'B', 'C', 'C'],
    '测量值': [23.5, 24.1, 26.8, 27.2, 22.1, 21.9],
    '温度': [20, 20, 25, 25, 15, 15]
})

# 按实验组计算统计量
stats = experiment_data.groupby('实验组')['测量值'].agg(['mean', 'std'])
print(stats)

      🔧 Pandas 生态系统

      Pandas 与其他 Python 库紧密集成：

      数据处理链

      # 完整的数据处理流程
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# 数据读取 (Pandas)
df = pd.read_csv('dataset.csv')

# 数据预处理 (Pandas + NumPy)
df_clean = df.fillna(df.mean())
X = df_clean[['feature1', 'feature2']]
y = df_clean['target']

# 数据可视化 (Pandas + Matplotlib/Seaborn)
df_clean.hist(figsize=(12, 8))
plt.show()

# 机器学习 (Scikit-learn)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
model = LinearRegression()
model.fit(X_train, y_train)

      📈 Pandas 的发展历程

      • 2008年：Wes McKinney 在 AQR Capital Management 开始开发
      • 2009年：首次公开发布
      • 2012年：成为 NumFOCUS 项目
      • 2017年：发布 1.0 版本
      • 2020年：发布 1.0 稳定版
      • 至今：持续活跃开发，社区贡献丰富

      🌟 Pandas 的核心理念

      1. 数据对齐

      # 自动数据对齐示例
s1 = pd.Series([1, 2, 3], index=['a', 'b', 'c'])
s2 = pd.Series([4, 5, 6], index=['b', 'c', 'd'])

# 自动按索引对齐
result = s1 + s2
print(result)
# a    NaN
# b    6.0
# c    8.0
# d    NaN

      2. 缺失数据处理

      # 智能缺失数据处理
data = pd.DataFrame({
    'A': [1, 2, None, 4],
    'B': [5, None, 7, 8],
    'C': [9, 10, 11, None]
})

# 多种处理方式
print("删除缺失值：")
print(data.dropna())

print("\n填充缺失值：")
print(data.fillna(0))

print("\n前向填充：")
print(data.fillna(method='ffill'))

      3. 灵活的索引

      # 多层索引示例
index = pd.MultiIndex.from_tuples([
    ('A', 1), ('A', 2), ('B', 1), ('B', 2)
], names=['字母', '数字'])

df = pd.DataFrame({
    '值': [10, 20, 30, 40]
}, index=index)

print(df)
print("\n选择 A 组数据：")
print(df.loc['A'])

      🎓 学习路径建议

      初学者路径

      1. 基础概念：理解 Series 和 DataFrame
      2. 数据读写：掌握常见格式的数据处理
      3. 基本操作：索引、选择、过滤
      4. 数据清洗：处理缺失值、重复值
      5. 简单分析：描述性统计、基本聚合

      进阶路径

      1. 高级索引：多层索引、时间索引
      2. 数据重塑：pivot、melt、stack/unstack
      3. 数据合并：merge、join、concat
      4. 时间序列：日期处理、重采样
      5. 性能优化：向量化操作、内存管理

      专家路径

      1. 自定义函数：apply、transform、agg
      2. 扩展功能：插件开发、自定义访问器
      3. 大数据处理：分块处理、Dask 集成
      4. 性能调优：Cython、Numba 加速
      5. 生产部署：数据管道、自动化流程

      💡 最佳实践预览

      1. 代码风格

      # 推荐的链式操作
result = (df
    .query('age > 18')
    .groupby('category')
    .agg({'sales': 'sum', 'profit': 'mean'})
    .sort_values('sales', ascending=False)
    .head(10)
)

      2. 性能考虑

      # 使用向量化操作而不是循环
# 不推荐
for i in range(len(df)):
    df.loc[i, 'new_col'] = df.loc[i, 'col1'] * df.loc[i, 'col2']

# 推荐
df['new_col'] = df['col1'] * df['col2']

      3. 内存管理

      # 优化数据类型
df['category'] = df['category'].astype('category')
df['small_int'] = df['small_int'].astype('int8')

      🔗 相关资源

      📝 本章小结

      Pandas 是 Python 数据分析的核心工具，具有以下特点：

      ✅ 强大的数据结构：Series 和 DataFrame
      ✅ 丰富的功能：数据读写、清洗、分析、可视化
      ✅ 优秀的生态：与 NumPy、Matplotlib、Scikit-learn 等无缝集成
      ✅ 活跃的社区：持续发展，文档完善
      ✅ 广泛的应用：商业、金融、科研等各个领域

      在下一章中，我们将学习如何安装和配置 Pandas 开发环境。

      下一章：Pandas 安装