垦荒学园

简体中文

English

简体中文

English

切换主题

Pandas 简介 ​

什么是 Pandas？ ​

Pandas 是 Python 中最重要的数据分析库之一，名字来源于 "Panel Data"（面板数据）。它提供了高性能、易用的数据结构和数据分析工具，是数据科学和分析领域的核心工具。

🎯 Pandas 的核心特性 ​

1. 强大的数据结构 ​

  • Series：一维标记数组，类似于带标签的列表
  • DataFrame：二维标记数据结构，类似于 Excel 表格或 SQL 表

2. 灵活的数据处理 ​

  • 数据读取和写入（CSV、Excel、JSON、SQL 等）
  • 数据清洗和预处理
  • 数据转换和重塑
  • 缺失数据处理

3. 高效的数据分析 ​

  • 描述性统计
  • 数据分组和聚合
  • 数据合并和连接
  • 时间序列分析

🚀 为什么选择 Pandas？ ​

优势对比 ​

特性PandasExcelSQL
数据量处理大数据集小到中等大数据集
编程灵活性极高有限中等
数据可视化集成 matplotlib内置图表需要其他工具
自动化程度完全自动化手动操作脚本化
学习曲线中等简单中等

📊 Pandas 在数据科学中的地位 ​

python
# 典型的数据科学工作流
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 1. 数据获取
data = pd.read_csv('data.csv')

# 2. 数据探索
print(data.info())
print(data.describe())

# 3. 数据清洗
data_clean = data.dropna()

# 4. 数据分析
result = data_clean.groupby('category').mean()

# 5. 数据可视化
result.plot(kind='bar')
plt.show()

🏢 Pandas 的应用场景 ​

1. 商业分析 ​

python
# 销售数据分析示例
sales_data = pd.DataFrame({
    '日期': ['2024-01-01', '2024-01-02', '2024-01-03'],
    '产品': ['A', 'B', 'A'],
    '销量': [100, 150, 120],
    '收入': [1000, 2250, 1200]
})

# 按产品统计总销量
product_sales = sales_data.groupby('产品')['销量'].sum()
print(product_sales)

2. 金融分析 ​

python
# 股票数据分析示例
stock_data = pd.DataFrame({
    '日期': pd.date_range('2024-01-01', periods=5),
    '开盘价': [100, 102, 101, 103, 105],
    '收盘价': [102, 101, 103, 105, 107],
    '成交量': [1000, 1200, 800, 1500, 1100]
})

# 计算日收益率
stock_data['收益率'] = stock_data['收盘价'].pct_change()
print(stock_data)

3. 科学研究 ​

python
# 实验数据分析示例
experiment_data = pd.DataFrame({
    '实验组': ['A', 'A', 'B', 'B', 'C', 'C'],
    '测量值': [23.5, 24.1, 26.8, 27.2, 22.1, 21.9],
    '温度': [20, 20, 25, 25, 15, 15]
})

# 按实验组计算统计量
stats = experiment_data.groupby('实验组')['测量值'].agg(['mean', 'std'])
print(stats)

🔧 Pandas 生态系统 ​

Pandas 与其他 Python 库紧密集成：

数据处理链 ​

python
# 完整的数据处理流程
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression

# 数据读取 (Pandas)
df = pd.read_csv('dataset.csv')

# 数据预处理 (Pandas + NumPy)
df_clean = df.fillna(df.mean())
X = df_clean[['feature1', 'feature2']]
y = df_clean['target']

# 数据可视化 (Pandas + Matplotlib/Seaborn)
df_clean.hist(figsize=(12, 8))
plt.show()

# 机器学习 (Scikit-learn)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
model = LinearRegression()
model.fit(X_train, y_train)

📈 Pandas 的发展历程 ​

  • 2008年：Wes McKinney 在 AQR Capital Management 开始开发
  • 2009年：首次公开发布
  • 2012年：成为 NumFOCUS 项目
  • 2017年：发布 1.0 版本
  • 2020年：发布 1.0 稳定版
  • 至今：持续活跃开发，社区贡献丰富

🌟 Pandas 的核心理念 ​

1. 数据对齐 ​

python
# 自动数据对齐示例
s1 = pd.Series([1, 2, 3], index=['a', 'b', 'c'])
s2 = pd.Series([4, 5, 6], index=['b', 'c', 'd'])

# 自动按索引对齐
result = s1 + s2
print(result)
# a    NaN
# b    6.0
# c    8.0
# d    NaN

2. 缺失数据处理 ​

python
# 智能缺失数据处理
data = pd.DataFrame({
    'A': [1, 2, None, 4],
    'B': [5, None, 7, 8],
    'C': [9, 10, 11, None]
})

# 多种处理方式
print("删除缺失值：")
print(data.dropna())

print("\n填充缺失值：")
print(data.fillna(0))

print("\n前向填充：")
print(data.fillna(method='ffill'))

3. 灵活的索引 ​

python
# 多层索引示例
index = pd.MultiIndex.from_tuples([
    ('A', 1), ('A', 2), ('B', 1), ('B', 2)
], names=['字母', '数字'])

df = pd.DataFrame({
    '值': [10, 20, 30, 40]
}, index=index)

print(df)
print("\n选择 A 组数据：")
print(df.loc['A'])

🎓 学习路径建议 ​

初学者路径 ​

  1. 基础概念：理解 Series 和 DataFrame
  2. 数据读写：掌握常见格式的数据处理
  3. 基本操作：索引、选择、过滤
  4. 数据清洗：处理缺失值、重复值
  5. 简单分析：描述性统计、基本聚合

进阶路径 ​

  1. 高级索引：多层索引、时间索引
  2. 数据重塑：pivot、melt、stack/unstack
  3. 数据合并：merge、join、concat
  4. 时间序列：日期处理、重采样
  5. 性能优化：向量化操作、内存管理

专家路径 ​

  1. 自定义函数：apply、transform、agg
  2. 扩展功能：插件开发、自定义访问器
  3. 大数据处理：分块处理、Dask 集成
  4. 性能调优：Cython、Numba 加速
  5. 生产部署：数据管道、自动化流程

💡 最佳实践预览 ​

1. 代码风格 ​

python
# 推荐的链式操作
result = (df
    .query('age > 18')
    .groupby('category')
    .agg({'sales': 'sum', 'profit': 'mean'})
    .sort_values('sales', ascending=False)
    .head(10)
)

2. 性能考虑 ​

python
# 使用向量化操作而不是循环
# 不推荐
for i in range(len(df)):
    df.loc[i, 'new_col'] = df.loc[i, 'col1'] * df.loc[i, 'col2']

# 推荐
df['new_col'] = df['col1'] * df['col2']

3. 内存管理 ​

python
# 优化数据类型
df['category'] = df['category'].astype('category')
df['small_int'] = df['small_int'].astype('int8')

🔗 相关资源 ​

📝 本章小结 ​

Pandas 是 Python 数据分析的核心工具，具有以下特点：

✅ 强大的数据结构：Series 和 DataFrame
✅ 丰富的功能：数据读写、清洗、分析、可视化
✅ 优秀的生态：与 NumPy、Matplotlib、Scikit-learn 等无缝集成
✅ 活跃的社区：持续发展，文档完善
✅ 广泛的应用：商业、金融、科研等各个领域

在下一章中，我们将学习如何安装和配置 Pandas 开发环境。

下一章：Pandas 安装