Pandas API for DuckDB, PostgreSQL & ClickHouse — 将计算保留在数据库中[P]

Reddit r/MachineLearning 工具
open-source dataframe-api sql-databases duckdb postgresql clickhouse python

摘要

memFrame 是一个开源的 dataframe API，它将 Python DataFrame 操作转换为 SQL，使得计算可以留在 DuckDB、PostgreSQL 和 ClickHouse 等数据库内，并包括一个多代理架构用于自然语言数据交互。

我一直在开发 memFrame — 一个开源的 dataframe API，它将操作编译为 SQL。核心思想是：**Python/DataFrame API → SQL → DuckDB / PostgreSQL / ClickHouse**。与其将数据拉入 Python 并在 pandas 中完成所有操作，memFrame 试图将计算保留在数据库内。目前，它包含了用于检查、选择、清理、统计、算术、可视化等操作。我故意逐步发布分析操作，因为首先我希望已发布的功能在公众中得到充分测试，一旦当前功能的所有问题都解决后，接下来将支持 groupby、窗口函数、排序和过滤。它内置了多代理架构，支持用自然语言与您的数据进行对话。非常欢迎来自使用 pandas/SQL/DuckDB/Postgres 的人提供技术反馈和建议以改进此项目。github || 文档 如果这个想法听起来有用，点个 ⭐ 会很有帮助。
查看原文

相似文章

pumaDB

Product Hunt

pumaDB是一个为AI代理设计的轻量级托管内存层。

Pandas 应该被淘汰

Lobsters Hottest

这篇文章认为，Pandas 作为一个 Python DataFrame 库，由于其低效性，应被更高效的替代品如 Polars 和 DuckDB 取代，这是基于对数据规模和采用模式的分析。