ساخت خطوط لوله ETL می تواند بسیار شبیه به آن باشد منتخب – شما داده‌ها را از نقطه A به نقطه B منتقل می‌کنید، آن را به چیزی مفید تبدیل می‌کنید و مطمئن می‌شوید که همه چیز یکپارچه کار می‌کند. پایتون با ارتشی از کتابخانه‌ها که کار شما را آسان‌تر می‌کنند، پشتیبان شماست – به نوعی مانند داشتن نیرو در کنار شما 🛠️. در این راهنما، برخی از بهترین کتابخانه‌های پایتون را بررسی می‌کنیم تا به شما در پیروزی در جنگ ETL کمک کنند. 🏆
1. استخراج: استخراج داده ها از منبع
وقتی صحبت از استخراج داده می شود، به ابزارهای مناسب برای استخراج داده ها از منابع مختلف – پایگاه داده ها، API ها، فایل ها نیاز دارید. اینجاست که سرگرمی شروع می شود (صدای اوبی وان). در اینجا کتابخانه‌هایی برای دریافت داده‌های مورد نیاز وجود دارد.
SQLAlchemy
هنگام استخراج داده ها از پایگاه داده، SQLAlchemy شمشیر نور قابل اعتماد شما است. این قدرتمند است و چندین نوع پایگاه داده را بدون عرق کردن مدیریت می کند.
-
جوانب مثبت:
- پشتیبانی از طیف گسترده ای از پایگاه های داده (PostgreSQL، MySQL، SQLite و غیره)
- شما به راحتی می توانید بین پایگاه های داده جابجا شوید
-
مثال:
from sqlalchemy import create_engine
engine = create_engine('postgresql://user:password@localhost/dbname')
connection = engine.connect()
result = connection.execute("SELECT * FROM jedi_order")
پانداها
پانداها چاقوی ارتش سوئیس شماست 🗡️ وقتی صحبت از کار با داده ها در CSV، Excel، JSON یا حتی SQL می شود. استفاده از آن سریع و ساده است و برای استخراج داده ها از فایل ها عالی است.
-
جوانب مثبت:
- می تواند داده ها را از فرمت های مختلف فایل با یک خط کد بارگیری کند
- عملکرد عالی برای داده های درون حافظه
-
مثال:
import pandas as pd
data = pd.read_csv('rebels_data.csv')
درخواست ها
برای مقابله با REST API ها، requests مانند R2-D2 است – قابل اعتماد، ساده است و داده های مورد نیاز را در اختیار شما قرار می دهد.
-
جوانب مثبت:
- درخواست های HTTP را بسیار آسان می کند
- احراز هویت API، هدرها و غیره را کنترل می کند.
-
مثال:
import requests
response = requests.get('https://api.example.com/data')
data = response.json()
2. تبدیل: شکل دادن به داده ها
حالا که دارید استخراج شده است داده ها، وقت آن است که تبدیل کنید آن را به چیزی قابل استفاده تبدیل کند. این مرحله مانند برداشتن میتریل خام و جعل کردن آن در زره است 🛡️. بیایید به چند کتابخانه عالی برای دگرگونی شیرجه بزنیم.
پانداها
یک بار دیگر، پانداها برای تغییر داده های شما مفید هستند. خواه در حال تمیز کردن، فیلتر کردن یا جمع‌آوری باشد، شما را مانند شنل نامرئی پوشانده است.
-
جوانب مثبت:
- هزاران توابع داخلی برای دستکاری داده ها
- ایده آل برای تبدیل در حافظه
-
مثال:
# Clean data by removing NaN values and filtering rows
data_cleaned = data.dropna().query('age > 18')
میز
مجموعه داده‌های عظیمی دارید که حتی ستاره مرگ را کوچک نشان می‌دهد؟ Dask به شما این امکان را می دهد که داده های بزرگتر از حافظه را با استفاده از پردازش موازی، بدون بازنویسی کد پانداها، مدیریت کنید. 🌌
-
جوانب مثبت:
- مقیاس برای مدیریت مجموعه داده های بزرگ
- محاسبات توزیع شده، اما با نحو آشنای پانداها
-
مثال:
import dask.dataframe as dd
df = dd.read_csv('huge_data.csv')
result = df[df.age > 18].compute()
PySpark
برای تبدیل‌های سطح Jedi روی داده‌های بزرگ، به PySpark نگاه نکنید. این لوک اسکای واکر پردازش داده های توزیع شده است. 🧙♂️
-
جوانب مثبت:
- تبدیل داده های سریع رعد و برق در مجموعه داده های بزرگ
- عالی برای کار در اکوسیستم های داده های بزرگ (Hadoop، Spark)
-
مثال:
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("ETL").getOrCreate()
df = spark.read.csv('galaxy_data.csv', header=True, inferSchema=True)
df_filtered = df.filter(df.age > 18)
3. بارگذاری: قرار دادن داده در جایی که به آن تعلق دارد
در نهایت، شما داده های خود را به چیزی قابل استفاده تبدیل کرده اید. اکنون زمان بارگیری آن به مقصد نهایی رسیده است. فرقی نمی‌کند انبار داده، سطل S3 یا پایگاه داده باشد، به این فکر کنید که یک حلقه را به موردور تحویل می‌دهید 🏔️ – با ابزارهای مناسب، سفر بسیار آسان‌تر می‌شود.
SQLAlchemy
SQLAlchemy بارگذاری مجدد داده ها را در پایگاه داده شما ساده می کند. با استفاده از آن، می توانید به راحتی داده های خود را در یک پایگاه داده رابطه ای وارد کنید.
-
جوانب مثبت:
- با چندین پایگاه داده کار می کند
- از درج های حجیم پشتیبانی می کند
-
مثال:
data.to_sql('jedi_council', engine, index=False, if_exists='replace')
Psycopg2
برای پایگاه های داده PostgreSQL، psycopg2 بهترین همراه شماست این سریع، کارآمد است و وظایف پیچیده SQL را آسان می کند.
-
جوانب مثبت:
- پشتیبانی بومی برای PostgreSQL
- از تراکنش ها پشتیبانی می کند
-
مثال:
import psycopg2
conn = psycopg2.connect(dbname="star_wars", user="user", password="force123")
cur = conn.cursor()
cur.execute("INSERT INTO jedis (name, age) VALUES (%s, %s)", ('Luke', 30))
conn.commit()
Boto3
اگر با سرویس‌های AWS مانند S3 کار می‌کنید، Boto3 ابزاری مناسب برای آپلود داده‌ها در فضای ابری است. احساس خواهید کرد که گندالف از آن استفاده می کند. ☁️
-
جوانب مثبت:
- به طور کامل با خدمات AWS یکپارچه شده است
- آسان برای آپلود/دانلود از S3
-
مثال:
import boto3
s3 = boto3.client('s3')
s3.upload_file('local_file.csv', 'mybucket', 'file.csv')
سرویس گیرنده Google Cloud Storage (GCS).
برای توسعه‌دهندگانی که با Google Cloud کار می‌کنند، GCS Client به شما کمک می‌کند تا داده‌ها را به راحتی در Google Cloud Storage بارگیری کنید، درست مانند Boto3 با AWS.
-
جوانب مثبت:
- پشتیبانی کامل از Google Cloud
-
مثال:
from google.cloud import storage
client = storage.Client()
bucket = client.get_bucket('my_bucket')
blob = bucket.blob('data.csv')
blob.upload_from_filename('local_file.csv')
4. ارکستراسیون: مدیریت خط لوله ETL شما
اکنون، هیچ خط لوله ETL بدون کمی ارکستراسیون کامل نخواهد بود. به این به عنوان نیرویی فکر کنید که تمام قسمت های متحرک را هدایت می کند ⚙️ – برنامه ریزی کارها، نظارت، و تلاش مجدد در صورت بروز مشکل.
جریان هوای آپاچی
اگر روی هر چیز پیچیده ای کار می کنید، Apache Airflow Yoda شما برای ارکستراسیون وظایف است. با استفاده از آن، می‌توانید گردش‌های کاری را ایجاد، برنامه‌ریزی و نظارت کنید، و مطمئن شوید که تمام کارهای ETL شما مانند ساعت اجرا می‌شوند.
-
جوانب مثبت:
- برنامه ریزی و مدیریت وظایف قدرتمند
- رابط بصری برای ردیابی گردش کار
-
مثال:
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
def extract_data():
# Extraction logic
pass
dag = DAG('my_etl_pipeline', start_date=datetime(2023, 1, 1))
task = PythonOperator(task_id='extract_task', python_callable=extract_data, dag=dag)
بسته بندی
ساخت خطوط لوله ETL لزومی ندارد که احساس کنید در حال مبارزه با دارث ویدر هستید ⚔️. با ابزارهای مناسب، می‌توانید کل فرآیند را خودکار کنید، داده‌ها را به طور موثر تغییر دهید و آن‌ها را در مقصد نهایی بارگیری کنید. چه در حال مدیریت مجموعه داده‌های کوچک باشید و چه بر روی سیستم‌های گسترده و توزیع‌شده کار می‌کنید، این کتابخانه‌های پایتون به شما کمک می‌کنند خطوط لوله ETL بسازید که به اندازه One Ring قدرتمند هستند (اما بدتر از حد).
باشد که نیروی ETL با شما باشد. ✨
