Pandarallel 简介

Pandarallel 是一个 Python 库，设计用于简化并行处理在 Pandas DataFrame 上的操作，特别针对那些原本串行执行的 apply、map 和 applymap 等方法。它通过利用多核 CPU 的优势，在本地环境中实现并行计算，从而显著提高数据处理速度。

以下是对 Pandarallel 主要特点的简单介绍：

1. 简单易用：

   • Pandarallel 无需用户显式管理进程或线程，只需在代码开始处初始化一次，之后就可以直接使用类似 Pandas 的接口进行并行化操作。
   • 初始化通常通过一行代码完成：pandarallel.initialize()
   • 在初始化时，可以指定参数如 progress_bar=True 来显示进度条，或者调整 nb_workers 参数以设置使用的 CPU 核心数量。

2. 高效并行：

   • Pandarallel 在后台使用 multiprocessing 库，绕过了 Python 全局解释器锁（GIL）的限制，因此能够在多个 CPU 核心上并行执行任务。
   • 它能够自动检测系统的可用 CPU 资源，并根据需要分配工作负载到各个核心上。

3. 共享内存优化：

   • Pandarallel 使用共享内存来传递数据，这意味着避免了不必要的磁盘 I/O 操作，从而加快数据交换速度。
   • 用户可以根据需要调整 Pandarallel 的共享内存大小，因为默认值可能对于大型数据集来说较小，可以通过环境变量或初始化时设置参数来增大。

4. 日志与调试：

   • 可以配置日志级别以控制 Pandarallel 运行时的信息输出。

5. 兼容性：

   • Pandarallel 适用于多种 Python 环境，包括 Jupyter Notebook、JupyterLab、IPython 以及命令行脚本等。

6. 注意事项：

   • 虽然 Pandarallel 大大简化了并行化过程，但在某些情况下，由于进程间通信开销或其他库的兼容性问题，对于非常小的数据集，它可能不会带来性能提升，甚至可能因为进程创建和管理的额外开销而变慢。
   • 对于大规模分布式计算需求，用户可能需要考虑 Dask 这样的更复杂的并行计算库。

	性能展示
原生 Pandas
Pandarallel

综上所述，Pandarallel 是一个轻量级且易于集成到现有 Pandas 项目的工具，对于寻求快速提升单机环境下数据分析任务处理速度的开发者来说，是一个非常实用的选择。

Pandarallel 的使用

安装

1

pip install pandarallel

初始化

1
2
3

import pandas as pd
from pandarallel import pandarallel
pandarallel.initialize(progress_bar=True)

使用

将 pandas 中的方法替换为对应的 pandarallel 方法即可：