برنامه نویسی

استفاده از توابع Google Cloud برای پردازش داده های سه لایه با Google Composer و استقرار خودکار از طریق GitHub Actions

تصویر ek3nk4r ek3nk4r ارسال ایمیل 2024-10-25
0 3 خواندن این مطلب 21 دقیقه زمان میبرد
استفاده از توابع Google Cloud برای پردازش داده های سه لایه با Google Composer و استقرار خودکار از طریق GitHub Actions

پیشنهاد ویژه

خرید فالوور واقعیخرید لایک اینستاگرامخرید ویو اینستاگرامخرید فالوور اینستاگرام

Summarize this content to 400 words in Persian Lang

فهرست مطالب

درباره
ابزارهای مورد استفاده
نمودار معماری راه حل

فرآیند استقرار

خط لوله اقدامات GitHub: مراحل

توضیح گردش کار GitHub Actions
منابع ایجاد شده پس از استقرار
نتیجه گیری
مراجع

درباره

این پست به بررسی استفاده از توابع Google Cloud برای پردازش داده ها در a معماری سه لایه. راه حل با هماهنگ شده است Google Composer و ویژگی ها استقرار خودکار با استفاده از اقدامات GitHub. ما ابزارهای مورد استفاده، فرآیند استقرار و مراحل خط لوله را مرور خواهیم کرد و راهنمای روشنی برای ایجاد یک خط لوله داده مبتنی بر ابر انتها به انتها ارائه خواهیم کرد.

ابزارهای مورد استفاده

Google Cloud Platform (GCP): محیط ابری اولیه

فضای ذخیره سازی ابری: برای ذخیره داده های ورودی و پردازش شده در لایه های مختلف (برنز، نقره، طلا).

توابع ابری: توابع بدون سرور مسئول پردازش داده ها در هر لایه.

Google Composer: یک ابزار ارکستراسیون مبتنی بر Apache Airflow که برای برنامه‌ریزی و مدیریت گردش‌های کاری استفاده می‌شود.

اقدامات GitHub: ابزار اتوماسیون برای استقرار و مدیریت زیرساخت خط لوله.

نمودار معماری راه حل

فرآیند استقرار

پیش نیازها

قبل از راه اندازی پروژه، اطمینان حاصل کنید که موارد زیر را دارید:

حساب GCP: یک حساب Google Cloud با فعال بودن صورتحساب.

حساب سرویس برای DevOps: یک حساب سرویس با مجوزهای لازم برای استقرار منابع در GCP.

اسرار در GitHub: برای دسترسی ایمن، اعتبار حساب سرویس GCP، شناسه پروژه و نام سطل را به عنوان راز در GitHub ذخیره کنید.

اسرار اقدامات GitHub

برای دسترسی ایمن به پروژه و منابع GCP خود، اسرار زیر را در GitHub Actions تنظیم کنید:

BUCKET_DATALAKE: سطل ذخیره سازی ابری شما برای دریاچه داده.

GCP_DEVOPS_SA_KEY: کلید حساب سرویس در قالب JSON.

PROJECT_ID: شناسه پروژه GCP شما.

REGION_PROJECT_ID: منطقه ای که پروژه GCP شما در آن مستقر شده است.

برای ایجاد یک راز جدید:

1. In project repository, menu **Settings**
2. **Security**,
3. **Secrets and variables**,click in access **Action**
4. **New repository secret**, type a **name** and **value** for secret.

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

برای جزئیات بیشتر، دسترسی به:https://docs.github.com/pt/actions/security-for-github-actions/security-guides/using-secrets-in-github-actions

راه اندازی حساب سرویس DevOps

یک حساب سرویس در GCP با مجوزهای Cloud Functions، Composer، BigQuery و Cloud Storage ایجاد کنید. اعطای نقش های لازم مانند:

مدیر توابع ابری
کاربر آهنگساز
ویرایشگر داده BigQuery
مدیر شیء ذخیره سازی

خط لوله اقدامات GitHub: مراحل

خط لوله کل فرآیند استقرار را خودکار می کند و اطمینان می دهد که همه اجزا به درستی تنظیم شده اند. در اینجا خلاصه ای از مشاغل کلیدی از فایل GitHub Actions آورده شده است که هر کدام مسئول جنبه متفاوتی از استقرار هستند.

فعال کردن خدمات

enable-services:
runs-on: ubuntu-22.04
steps:
– uses: actions/checkout@v2

# Step to Authenticate with GCP
– name: Authorize GCP
uses: ‘google-github-actions/auth@v2’
with:
credentials_json: ${{ secrets.GCP_DEVOPS_SA_KEY }}

# Step to Configure Cloud SDK
– name: Set up Cloud SDK
uses: google-github-actions/setup-gcloud@v2
with:
version: ‘>= 363.0.0’
project_id: ${{ secrets.PROJECT_ID }}

# Step to Configure Docker to use the gcloud command-line tool as a credential helper
– name: Configure Docker
run: |-
gcloud auth configure-docker

– name: Set up python 3.8
uses: actions/setup-python@v2
with:
python-version: 3.8.16

# Step to Create GCP Bucket
– name: Enable gcp service api’s
run: |-
gcloud services enable ${{ env.GCP_SERVICE_API_0 }}
gcloud services enable ${{ env.GCP_SERVICE_API_1 }}
gcloud services enable ${{ env.GCP_SERVICE_API_2 }}
gcloud services enable ${{ env.GCP_SERVICE_API_3 }}
gcloud services enable ${{ env.GCP_SERVICE_API_4 }}

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

استقرار سطل

deploy-buckets:
needs: [enable-services] runs-on: ubuntu-22.04
timeout-minutes: 10

steps:
– name: Checkout
uses: actions/checkout@v4

– name: Authorize GCP
uses: ‘google-github-actions/auth@v2’
with:
credentials_json: ${{ secrets.GCP_DEVOPS_SA_KEY }}

# Step to Authenticate with GCP
– name: Set up Cloud SDK
uses: google-github-actions/setup-gcloud@v2
with:
version: ‘>= 363.0.0’
project_id: ${{ secrets.PROJECT_ID }}

# Step to Configure Docker to use the gcloud command-line tool as a credential helper
– name: Configure Docker
run: |-
gcloud auth configure-docker

# Step to Create GCP Bucket
– name: Create Google Cloud Storage – datalake
run: |-
if ! gsutil ls -p ${{ secrets.PROJECT_ID }} gs://${{ secrets.BUCKET_DATALAKE }} &> /dev/null; \
then \
gcloud storage buckets create gs://${{ secrets.BUCKET_DATALAKE }} –default-storage-class=nearline –location=${{ env.REGION }}
else
echo “Cloud Storage : gs://${{ secrets.BUCKET_DATALAKE }} already exists” !
fi

# Step to Upload the file to GCP Bucket – transient files
– name: Upload transient files to Google Cloud Storage
run: |-
TARGET=${{ env.INPUT_FOLDER }}
BUCKET_PATH=${{ secrets.BUCKET_DATALAKE }}/${{ env.INPUT_FOLDER }}
gsutil cp -r $TARGET gs://${BUCKET_PATH}

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-cloud-function

deploy-cloud-function:
needs: [enable-services, deploy-buckets] runs-on: ubuntu-22.04
steps:
– uses: actions/checkout@v2

# Step to Authenticate with GCP
– name: Authorize GCP
uses: ‘google-github-actions/auth@v2’
with:
credentials_json: ${{ secrets.GCP_DEVOPS_SA_KEY }}

# Step to Configure Cloud SDK
– name: Set up Cloud SDK
uses: google-github-actions/setup-gcloud@v2
with:
version: ‘>= 363.0.0’
project_id: ${{ secrets.PROJECT_ID }}

# Step to Configure Docker to use the gcloud command-line tool as a credential helper
– name: Configure Docker
run: |-
gcloud auth configure-docker

– name: Set up python 3.10
uses: actions/setup-python@v2
with:
python-version: 3.10.12
#cloud_function_scripts/csv_to_parquet
– name: Create cloud function – ${{ env.CLOUD_FUNCTION_1_NAME }}
run: |-
cd ${{ env.FUNCTION_SCRIPTS }}/${{ env.CLOUD_FUNCTION_1_NAME }}
gcloud functions deploy ${{ env.CLOUD_FUNCTION_1_NAME }} \
–gen2 \
–cpu=${{ env.FUNCTION_CPU }} \
–memory=${{ env.FUNCTION_MEMORY }} \
–runtime ${{ env.PYTHON_FUNCTION_RUNTIME }} \
–trigger-http \
–region ${{ env.REGION }} \
–entry-point ${{ env.CLOUD_FUNCTION_1_NAME }}

– name: Create cloud function – ${{ env.CLOUD_FUNCTION_2_NAME }}
run: |-
cd ${{ env.FUNCTION_SCRIPTS }}/${{ env.CLOUD_FUNCTION_2_NAME }}
gcloud functions deploy ${{ env.CLOUD_FUNCTION_2_NAME }} \
–gen2 \
–cpu=${{ env.FUNCTION_CPU }} \
–memory=${{ env.FUNCTION_MEMORY }} \
–runtime ${{ env.PYTHON_FUNCTION_RUNTIME }} \
–trigger-http \
–region ${{ env.REGION }} \
–entry-point ${{ env.CLOUD_FUNCTION_2_NAME }}

– name: Create cloud function – ${{ env.CLOUD_FUNCTION_3_NAME }}
run: |-
cd ${{ env.FUNCTION_SCRIPTS }}/${{ env.CLOUD_FUNCTION_3_NAME }}
gcloud functions deploy ${{ env.CLOUD_FUNCTION_3_NAME }} \
–gen2 \
–cpu=${{ env.FUNCTION_CPU }} \
–memory=${{ env.FUNCTION_MEMORY }} \
–runtime ${{ env.PYTHON_FUNCTION_RUNTIME }} \
–trigger-http \
–region ${{ env.REGION }} \
–entry-point ${{ env.CLOUD_FUNCTION_3_NAME }}

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-composer-service-account

deploy-composer-service-account:
needs: [enable-services, deploy-buckets, deploy-cloud-function ] runs-on: ubuntu-22.04
timeout-minutes: 10

steps:
– name: Checkout
uses: actions/checkout@v4

– name: Authorize GCP
uses: ‘google-github-actions/auth@v2’
with:
credentials_json: ${{ secrets.GCP_DEVOPS_SA_KEY }}

# Step to Authenticate with GCP
– name: Set up Cloud SDK
uses: google-github-actions/setup-gcloud@v2
with:
version: ‘>= 363.0.0’
project_id: ${{ secrets.PROJECT_ID }}

# Step to Configure Docker to use the gcloud command-line tool as a credential helper
– name: Configure Docker
run: |-
gcloud auth configure-docker

– name: Create service account
run: |-

if ! gcloud iam service-accounts list | grep -i ${{ env.SERVICE_ACCOUNT_NAME}} &> /dev/null; \
then \
gcloud iam service-accounts create ${{ env.SERVICE_ACCOUNT_NAME }} \
–display-name=${{ env.SERVICE_ACCOUNT_DESCRIPTION }}
fi
– name: Add permissions to service account
run: |-
gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/composer.user”

gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/storage.objectAdmin”

gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/cloudfunctions.invoker”

# Permissão para criar e gerenciar ambientes Composer
gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/composer.admin”

gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/composer.worker”

# Permissão para criar e configurar instâncias e recursos na VPC
gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/compute.networkAdmin”

# Permissão para interagir com o Cloud Storage, necessário para buckets e logs
gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/storage.admin”

# Permissão para criar e gerenciar recursos no projeto, como buckets e instâncias
gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/editor”

# Permissão para acessar e usar recursos necessários para o IAM
gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/iam.serviceAccountUser”

gcloud functions add-iam-policy-binding ${{env.CLOUD_FUNCTION_1_NAME}} \
–region=”${{env.REGION}}” \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/cloudfunctions.invoker”

gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_1_NAME}} \
–region=”${{env.REGION}}” \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com”

gcloud functions add-iam-policy-binding ${{env.CLOUD_FUNCTION_2_NAME}} \
–region=”${{env.REGION}}” \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/cloudfunctions.invoker”

gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_2_NAME}} \
–region=”${{env.REGION}}” \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com”

gcloud functions add-iam-policy-binding ${{env.CLOUD_FUNCTION_3_NAME}} \
–region=”${{env.REGION}}” \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/cloudfunctions.invoker”

gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_3_NAME}} \
–region=”${{env.REGION}}” \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com”

SERVICE_NAME_1=$(gcloud functions describe ${{ env.CLOUD_FUNCTION_1_NAME }} –region=${{ env.REGION }} –format=”value(serviceConfig.service)”)
gcloud run services add-iam-policy-binding $SERVICE_NAME_1 \
–region=”${{env.REGION}}” \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/run.invoker”

SERVICE_NAME_2=$(gcloud functions describe ${{ env.CLOUD_FUNCTION_2_NAME }} –region=${{ env.REGION }} –format=”value(serviceConfig.service)”)
gcloud run services add-iam-policy-binding $SERVICE_NAME_2 \
–region=”${{env.REGION}}” \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/run.invoker”

SERVICE_NAME_3=$(gcloud functions describe ${{ env.CLOUD_FUNCTION_3_NAME }} –region=${{ env.REGION }} –format=”value(serviceConfig.service)”)
gcloud run services add-iam-policy-binding $SERVICE_NAME_3 \
–region=”${{env.REGION}}” \
–member=”serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com” \
–role=”roles/run.invoker”

gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_1_NAME}} \
–region=”${{env.REGION}}” \
–member=”allUsers”

gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_2_NAME}} \
–region=”${{env.REGION}}” \
–member=”allUsers”

gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_3_NAME}} \
–region=”${{env.REGION}}” \
–member=”allUsers”

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-bigquery-dataset-bigquery-tables

deploy-bigquery-dataset-bigquery-tables:
needs: [enable-services, deploy-buckets, deploy-cloud-function, deploy-composer-service-account ] runs-on: ubuntu-22.04
timeout-minutes: 10

steps:
– name: Checkout
uses: actions/checkout@v4

– name: Authorize GCP
uses: ‘google-github-actions/auth@v2’
with:
credentials_json: ${{ secrets.GCP_DEVOPS_SA_KEY }}

# Step to Authenticate with GCP
– name: Set up Cloud SDK
uses: google-github-actions/setup-gcloud@v2
with:
version: ‘>= 363.0.0’
project_id: ${{ secrets.PROJECT_ID }}

# Step to Configure Docker to use the gcloud command-line tool as a credential helper
– name: Configure Docker
run: |-
gcloud auth configure-docker

– name: Create Big Query Dataset
run: |-
if ! bq ls –project_id ${{ secrets.PROJECT_ID}} -a | grep -w ${{ env.BIGQUERY_DATASET}} &> /dev/null; \
then

bq –location=${{ env.REGION }} mk \
–default_table_expiration 0 \
–dataset ${{ env.BIGQUERY_DATASET }}

else
echo “Big Query Dataset : ${{ env.BIGQUERY_DATASET }} already exists” !
fi

– name: Create Big Query table
run: |-
TABLE_NAME_CUSTOMER=${{ env.BIGQUERY_DATASET}}.${{ env.BIGQUERY_TABLE_CUSTOMER}}
c=0
for table in $(bq ls –max_results 1000 “${{ secrets.PROJECT_ID}}:${{ env.BIGQUERY_DATASET}}” | tail -n +3 | awk ‘{print $1}’); do

# Determine the table type and file extension
if bq show –format=prettyjson $BIGQUERY_TABLE_CUSTOMER | jq -r ‘.type’ | grep -q -E “TABLE”; then
echo “Dataset ${{ env.BIGQUERY_DATASET}} already has table named : $table ” !
if [ “$table” == “${{ env.BIGQUERY_TABLE_CUSTOMER}}” ]; then
echo “Dataset ${{ env.BIGQUERY_DATASET}} already has table named : $table ” !
((c=c+1))
fi
else
echo “Ignoring $table”
continue
fi
done
echo ” contador $c ”
if [ $c == 0 ]; then
echo “Creating table named : $table for Dataset ${{ env.BIGQUERY_DATASET}} ” !

bq mk –table \
$TABLE_NAME_CUSTOMER \
./big_query_schemas/customer_schema.json

fi

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-composer-environment

deploy-composer-environment:
needs: [enable-services, deploy-buckets, deploy-cloud-function, deploy-composer-service-account, deploy-bigquery-dataset-bigquery-tables ] runs-on: ubuntu-22.04
timeout-minutes: 40

steps:
– name: Checkout
uses: actions/checkout@v4

– name: Authorize GCP
uses: ‘google-github-actions/auth@v2’
with:
credentials_json: ${{ secrets.GCP_DEVOPS_SA_KEY }}

# Step to Authenticate with GCP
– name: Set up Cloud SDK
uses: google-github-actions/setup-gcloud@v2
with:
version: ‘>= 363.0.0’
project_id: ${{ secrets.PROJECT_ID }}

# Step to Configure Docker to use the gcloud command-line tool as a credential helper
– name: Configure Docker
run: |-
gcloud auth configure-docker

# Create composer environments
– name: Create composer environments
run: |-
if ! gcloud composer environments list –project=${{ secrets.PROJECT_ID }} –locations=${{ env.REGION }} | grep -i ${{ env.COMPOSER_ENV_NAME }} &> /dev/null; then
gcloud composer environments create ${{ env.COMPOSER_ENV_NAME }} \
–project ${{ secrets.PROJECT_ID }} \
–location ${{ env.REGION }} \
–environment-size ${{ env.COMPOSER_ENV_SIZE }} \
–image-version ${{ env.COMPOSER_IMAGE_VERSION }} \
–service-account ${{ env.SERVICE_ACCOUNT_NAME }}@${{ secrets.PROJECT_ID }}.iam.gserviceaccount.com
else
echo “Composer environment ${{ env.COMPOSER_ENV_NAME }} already exists!”
fi

# Create composer environments
– name: Create composer variable PROJECT_ID
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION}} variables \
— set PROJECT_ID ${{ secrets.PROJECT_ID }}

– name: Create composer variable REGION
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} variables \
— set REGION ${{ env.REGION }}

– name: Create composer variable CLOUD_FUNCTION_1_NAME
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }}\
–location ${{ env.REGION }} variables \
— set CLOUD_FUNCTION_1_NAME ${{ env.CLOUD_FUNCTION_1_NAME }}

– name: Create composer variable CLOUD_FUNCTION_2_NAME
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} variables \
— set CLOUD_FUNCTION_2_NAME ${{ env.CLOUD_FUNCTION_2_NAME }}

– name: Create composer variable CLOUD_FUNCTION_3_NAME
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} variables \
— set CLOUD_FUNCTION_3_NAME ${{ env.CLOUD_FUNCTION_3_NAME }}

– name: Create composer variable BUCKET_DATALAKE
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION}} variables \
— set BUCKET_NAME ${{ secrets.BUCKET_DATALAKE }}

– name: Create composer variable TRANSIENT_FILE_PATH
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} variables \
— set TRANSIENT_FILE_PATH ${{ env.TRANSIENT_FILE_PATH }}

– name: Create composer variable BRONZE_PATH
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} variables \
— set BRONZE_PATH ${{ env.BRONZE_PATH }}

– name: Create composer variable SILVER_PATH
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} variables \
— set SILVER_PATH ${{ env.SILVER_PATH }}

– name: Create composer variable REGION_PROJECT_ID
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} variables \
— set REGION_PROJECT_ID “${{ env.REGION }}-${{ secrets.PROJECT_ID }}”

– name: Create composer variable BIGQUERY_DATASET
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} variables \
— set BIGQUERY_DATASET “${{ env.BIGQUERY_DATASET }}”

– name: Create composer variable BIGQUERY_TABLE_CUSTOMER
run: |-
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} variables \
— set BIGQUERY_TABLE_CUSTOMER “${{ env.BIGQUERY_TABLE_CUSTOMER }}”

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-composer-http-connection

deploy-composer-http-connection:
needs: [enable-services, deploy-buckets, deploy-cloud-function, deploy-composer-service-account, deploy-bigquery-dataset-bigquery-tables, deploy-composer-environment ] runs-on: ubuntu-22.04

steps:
– name: Checkout
uses: actions/checkout@v4

– name: Authorize GCP
uses: ‘google-github-actions/auth@v2’
with:
credentials_json: ${{ secrets.GCP_DEVOPS_SA_KEY }}

# Step to Authenticate with GCP
– name: Set up Cloud SDK
uses: google-github-actions/setup-gcloud@v2
with:
version: ‘>= 363.0.0’
project_id: ${{ secrets.PROJECT_ID }}

# Step to Configure Docker to use the gcloud command-line tool as a credential helper
– name: Configure Docker
run: |-
gcloud auth configure-docker

– name: Create composer http connection HTTP_CONNECTION
run: |-
HOST=”https://${{ env.REGION }}-${{ secrets.PROJECT_ID }}.cloudfunctions.net”
gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} connections \
— add ${{ env.HTTP_CONNECTION }} \
–conn-type ${{ env.CONNECTION_TYPE }} \
–conn-host $HOST

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

روز استقرار

deploy-dags:
needs: [enable-services, deploy-buckets, deploy-cloud-function, deploy-composer-service-account, deploy-bigquery-dataset-bigquery-tables, deploy-composer-environment, deploy-composer-http-connection ] runs-on: ubuntu-22.04

steps:
– name: Checkout
uses: actions/checkout@v4

– name: Authorize GCP
uses: ‘google-github-actions/auth@v2’
with:
credentials_json: ${{ secrets.GCP_DEVOPS_SA_KEY }}

# Step to Authenticate with GCP
– name: Set up Cloud SDK
uses: google-github-actions/setup-gcloud@v2
with:
version: ‘>= 363.0.0’
project_id: ${{ secrets.PROJECT_ID }}

– name: Get Composer bucket name and Deploy DAG to Composer
run: |-
COMPOSER_BUCKET=$(gcloud composer environments describe ${{ env.COMPOSER_ENV_NAME }} \
–location ${{ env.REGION }} \
–format=”value(config.dagGcsPrefix)”)
gsutil -m cp -r ./dags/* $COMPOSER_BUCKET/dags/

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

منابع ایجاد شده پس از استقرار

پس از تکمیل فرآیند استقرار، منابع زیر در دسترس خواهند بود:

سطل های ذخیره سازی ابری: در لایه های برنز، نقره ای و طلایی سازماندهی شده است.

توابع ابری:: مسئول پردازش داده ها در سه لایه است.

حساب سرویس برای آهنگساز:: با مجوزهای مناسب برای فراخوانی توابع ابری.

مجموعه داده ها و جداول BigQuery: یک DataFrame ایجاد شده برای ذخیره داده های پردازش شده.

محیط Google Composer: عملکردهای ابری را با اجرای روزانه هماهنگ می کند.

آهنگساز امروز: DAG گردش کاری را مدیریت می کند که توابع Cloud را فراخوانی می کند و داده ها را پردازش می کند.

نتیجه گیری

این راه حل نشان می دهد که چگونه می توان از Google Cloud Functions، Composer و BigQuery برای ایجاد یک خط لوله پردازش داده سه لایه قوی استفاده کرد. اتوماسیون با استفاده از GitHub Actions یک فرآیند استقرار روان و قابل تکرار را تضمین می کند و مدیریت خطوط لوله داده مبتنی بر ابر را در مقیاس آسان تر می کند.

مراجع

اسناد پلت فرم Google Cloud: https://cloud.google.com/docs

مستندات GitHub Actions:: https://docs.github.com/en/actions

اسناد Google Composer:: https://cloud.google.com/composer/docs

مستندات توابع ابری: https://cloud.google.com/functions/docs

GitHub Repo: https://github.com/jader-lima/gcp-cloud-functions-to-bigquery

فهرست مطالب

  1. درباره
  2. ابزارهای مورد استفاده
  3. نمودار معماری راه حل

  4. فرآیند استقرار

  5. خط لوله اقدامات GitHub: مراحل

  6. توضیح گردش کار GitHub Actions
  7. منابع ایجاد شده پس از استقرار
  8. نتیجه گیری
  9. مراجع

درباره

این پست به بررسی استفاده از توابع Google Cloud برای پردازش داده ها در a معماری سه لایه. راه حل با هماهنگ شده است Google Composer و ویژگی ها استقرار خودکار با استفاده از اقدامات GitHub. ما ابزارهای مورد استفاده، فرآیند استقرار و مراحل خط لوله را مرور خواهیم کرد و راهنمای روشنی برای ایجاد یک خط لوله داده مبتنی بر ابر انتها به انتها ارائه خواهیم کرد.

ابزارهای مورد استفاده

  1. Google Cloud Platform (GCP): محیط ابری اولیه
  2. فضای ذخیره سازی ابری: برای ذخیره داده های ورودی و پردازش شده در لایه های مختلف (برنز، نقره، طلا).
  3. توابع ابری: توابع بدون سرور مسئول پردازش داده ها در هر لایه.
  4. Google Composer: یک ابزار ارکستراسیون مبتنی بر Apache Airflow که برای برنامه‌ریزی و مدیریت گردش‌های کاری استفاده می‌شود.
  5. اقدامات GitHub: ابزار اتوماسیون برای استقرار و مدیریت زیرساخت خط لوله.

نمودار معماری راه حل

معماری پروژه

فرآیند استقرار

پیش نیازها

قبل از راه اندازی پروژه، اطمینان حاصل کنید که موارد زیر را دارید:

  1. حساب GCP: یک حساب Google Cloud با فعال بودن صورتحساب.
  2. حساب سرویس برای DevOps: یک حساب سرویس با مجوزهای لازم برای استقرار منابع در GCP.
  3. اسرار در GitHub: برای دسترسی ایمن، اعتبار حساب سرویس GCP، شناسه پروژه و نام سطل را به عنوان راز در GitHub ذخیره کنید.

اسرار اقدامات GitHub

برای دسترسی ایمن به پروژه و منابع GCP خود، اسرار زیر را در GitHub Actions تنظیم کنید:

  • BUCKET_DATALAKE: سطل ذخیره سازی ابری شما برای دریاچه داده.
  • GCP_DEVOPS_SA_KEY: کلید حساب سرویس در قالب JSON.
  • PROJECT_ID: شناسه پروژه GCP شما.
  • REGION_PROJECT_ID: منطقه ای که پروژه GCP شما در آن مستقر شده است.

برای ایجاد یک راز جدید:

1. In project repository, menu **Settings** 
2. **Security**, 
3. **Secrets and variables**,click in access **Action**
4. **New repository secret**, type a **name** and **value** for secret.
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

ایجاد مخفی github

برای جزئیات بیشتر، دسترسی به:
https://docs.github.com/pt/actions/security-for-github-actions/security-guides/using-secrets-in-github-actions

راه اندازی حساب سرویس DevOps

یک حساب سرویس در GCP با مجوزهای Cloud Functions، Composer، BigQuery و Cloud Storage ایجاد کنید. اعطای نقش های لازم مانند:

  • مدیر توابع ابری
  • کاربر آهنگساز
  • ویرایشگر داده BigQuery
  • مدیر شیء ذخیره سازی

خط لوله اقدامات GitHub: مراحل

خط لوله کل فرآیند استقرار را خودکار می کند و اطمینان می دهد که همه اجزا به درستی تنظیم شده اند. در اینجا خلاصه ای از مشاغل کلیدی از فایل GitHub Actions آورده شده است که هر کدام مسئول جنبه متفاوتی از استقرار هستند.

فعال کردن خدمات

enable-services:
    runs-on: ubuntu-22.04
    steps:
    - uses: actions/checkout@v2

    # Step to Authenticate with GCP
    - name: Authorize GCP
      uses: 'google-github-actions/auth@v2'
      with:
        credentials_json:  ${{ secrets.GCP_DEVOPS_SA_KEY }}

    # Step to Configure  Cloud SDK
    - name: Set up Cloud SDK
      uses: google-github-actions/setup-gcloud@v2
      with:
        version: '>= 363.0.0'
        project_id: ${{ secrets.PROJECT_ID }}

    # Step to Configure Docker to use the gcloud command-line tool as a credential helper
    - name: Configure Docker
      run: |-
        gcloud auth configure-docker

    - name: Set up python 3.8
      uses: actions/setup-python@v2
      with:
        python-version: 3.8.16

    # Step to Create GCP Bucket 
    - name: Enable gcp service api's
      run: |-
        gcloud services enable ${{ env.GCP_SERVICE_API_0 }}
        gcloud services enable ${{ env.GCP_SERVICE_API_1 }}
        gcloud services enable ${{ env.GCP_SERVICE_API_2 }}
        gcloud services enable ${{ env.GCP_SERVICE_API_3 }}
        gcloud services enable ${{ env.GCP_SERVICE_API_4 }}
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

استقرار سطل

deploy-buckets:
    needs: [enable-services]
    runs-on: ubuntu-22.04
    timeout-minutes: 10

    steps:
    - name: Checkout
      uses: actions/checkout@v4

    - name: Authorize GCP
      uses: 'google-github-actions/auth@v2'
      with:
        credentials_json:  ${{ secrets.GCP_DEVOPS_SA_KEY }}

    # Step to Authenticate with GCP
    - name: Set up Cloud SDK
      uses: google-github-actions/setup-gcloud@v2
      with:
        version: '>= 363.0.0'
        project_id: ${{ secrets.PROJECT_ID }}

    # Step to Configure Docker to use the gcloud command-line tool as a credential helper
    - name: Configure Docker
      run: |-
        gcloud auth configure-docker

    # Step to Create GCP Bucket 
    - name: Create Google Cloud Storage - datalake
      run: |-
        if ! gsutil ls -p ${{ secrets.PROJECT_ID }} gs://${{ secrets.BUCKET_DATALAKE }} &> /dev/null; \
          then \
            gcloud storage buckets create gs://${{ secrets.BUCKET_DATALAKE }} --default-storage-class=nearline --location=${{ env.REGION }}
          else
            echo "Cloud Storage : gs://${{ secrets.BUCKET_DATALAKE }}  already exists" ! 
          fi


    # Step to Upload the file to GCP Bucket - transient files
    - name: Upload transient files to Google Cloud Storage
      run: |-
        TARGET=${{ env.INPUT_FOLDER }}
        BUCKET_PATH=${{ secrets.BUCKET_DATALAKE }}/${{ env.INPUT_FOLDER }}    
        gsutil cp -r $TARGET gs://${BUCKET_PATH}
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-cloud-function

deploy-cloud-function:
    needs: [enable-services, deploy-buckets]
    runs-on: ubuntu-22.04
    steps:
    - uses: actions/checkout@v2

    # Step to Authenticate with GCP
    - name: Authorize GCP
      uses: 'google-github-actions/auth@v2'
      with:
        credentials_json:  ${{ secrets.GCP_DEVOPS_SA_KEY }}

    # Step to Configure  Cloud SDK
    - name: Set up Cloud SDK
      uses: google-github-actions/setup-gcloud@v2
      with:
        version: '>= 363.0.0'
        project_id: ${{ secrets.PROJECT_ID }}

    # Step to Configure Docker to use the gcloud command-line tool as a credential helper
    - name: Configure Docker
      run: |-
        gcloud auth configure-docker

    - name: Set up python 3.10
      uses: actions/setup-python@v2
      with:
        python-version: 3.10.12
    #cloud_function_scripts/csv_to_parquet
    - name: Create cloud function - ${{ env.CLOUD_FUNCTION_1_NAME }}
      run: |-
        cd ${{ env.FUNCTION_SCRIPTS }}/${{ env.CLOUD_FUNCTION_1_NAME }}
        gcloud functions deploy ${{ env.CLOUD_FUNCTION_1_NAME }} \
        --gen2 \
        --cpu=${{ env.FUNCTION_CPU  }} \
        --memory=${{ env.FUNCTION_MEMORY  }} \
        --runtime ${{ env.PYTHON_FUNCTION_RUNTIME }} \
        --trigger-http \
        --region ${{ env.REGION }} \
        --entry-point ${{ env.CLOUD_FUNCTION_1_NAME }}

    - name: Create cloud function - ${{ env.CLOUD_FUNCTION_2_NAME }}
      run: |-
        cd ${{ env.FUNCTION_SCRIPTS }}/${{ env.CLOUD_FUNCTION_2_NAME }}
        gcloud functions deploy ${{ env.CLOUD_FUNCTION_2_NAME }} \
        --gen2 \
        --cpu=${{ env.FUNCTION_CPU  }} \
        --memory=${{ env.FUNCTION_MEMORY  }} \
        --runtime ${{ env.PYTHON_FUNCTION_RUNTIME }} \
        --trigger-http \
        --region ${{ env.REGION }} \
        --entry-point ${{ env.CLOUD_FUNCTION_2_NAME }}

    - name: Create cloud function - ${{ env.CLOUD_FUNCTION_3_NAME }}
      run: |-
        cd ${{ env.FUNCTION_SCRIPTS }}/${{ env.CLOUD_FUNCTION_3_NAME }}
        gcloud functions deploy ${{ env.CLOUD_FUNCTION_3_NAME }} \
        --gen2 \
        --cpu=${{ env.FUNCTION_CPU  }} \
        --memory=${{ env.FUNCTION_MEMORY  }} \
        --runtime ${{ env.PYTHON_FUNCTION_RUNTIME }} \
        --trigger-http \
        --region ${{ env.REGION }} \
        --entry-point ${{ env.CLOUD_FUNCTION_3_NAME }}
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-composer-service-account

deploy-composer-service-account:
    needs: [enable-services, deploy-buckets, deploy-cloud-function ]
    runs-on: ubuntu-22.04
    timeout-minutes: 10

    steps:
    - name: Checkout
      uses: actions/checkout@v4

    - name: Authorize GCP
      uses: 'google-github-actions/auth@v2'
      with:
        credentials_json:  ${{ secrets.GCP_DEVOPS_SA_KEY }}

    # Step to Authenticate with GCP
    - name: Set up Cloud SDK
      uses: google-github-actions/setup-gcloud@v2
      with:
        version: '>= 363.0.0'
        project_id: ${{ secrets.PROJECT_ID }}

    # Step to Configure Docker to use the gcloud command-line tool as a credential helper
    - name: Configure Docker
      run: |-
        gcloud auth configure-docker


    - name: Create service account
      run: |-

        if ! gcloud iam service-accounts list | grep -i ${{ env.SERVICE_ACCOUNT_NAME}} &> /dev/null; \
          then \
            gcloud iam service-accounts create ${{ env.SERVICE_ACCOUNT_NAME }} \
            --display-name=${{ env.SERVICE_ACCOUNT_DESCRIPTION }}
          fi
    - name: Add permissions to service account
      run: |-
        gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/composer.user"

        gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/storage.objectAdmin"

        gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/cloudfunctions.invoker"

        # Permissão para criar e gerenciar ambientes Composer
        gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/composer.admin"

        gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/composer.worker"

        # Permissão para criar e configurar instâncias e recursos na VPC
        gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/compute.networkAdmin"

        # Permissão para interagir com o Cloud Storage, necessário para buckets e logs
        gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/storage.admin"

        # Permissão para criar e gerenciar recursos no projeto, como buckets e instâncias
        gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/editor"

        # Permissão para acessar e usar recursos necessários para o IAM
        gcloud projects add-iam-policy-binding ${{secrets.PROJECT_ID}} \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/iam.serviceAccountUser"

        gcloud functions add-iam-policy-binding ${{env.CLOUD_FUNCTION_1_NAME}} \
          --region="${{env.REGION}}" \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/cloudfunctions.invoker"

        gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_1_NAME}} \
          --region="${{env.REGION}}" \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" 

        gcloud functions add-iam-policy-binding ${{env.CLOUD_FUNCTION_2_NAME}} \
          --region="${{env.REGION}}" \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/cloudfunctions.invoker"

        gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_2_NAME}} \
          --region="${{env.REGION}}" \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com"     

        gcloud functions add-iam-policy-binding ${{env.CLOUD_FUNCTION_3_NAME}} \
          --region="${{env.REGION}}" \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
          --role="roles/cloudfunctions.invoker"

        gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_3_NAME}} \
          --region="${{env.REGION}}" \
          --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com"   

        SERVICE_NAME_1=$(gcloud functions describe ${{ env.CLOUD_FUNCTION_1_NAME }} --region=${{ env.REGION }} --format="value(serviceConfig.service)")
        gcloud run services add-iam-policy-binding $SERVICE_NAME_1 \
        --region="${{env.REGION}}" \
        --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
        --role="roles/run.invoker"

        SERVICE_NAME_2=$(gcloud functions describe ${{ env.CLOUD_FUNCTION_2_NAME }} --region=${{ env.REGION }} --format="value(serviceConfig.service)")
        gcloud run services add-iam-policy-binding $SERVICE_NAME_2 \
        --region="${{env.REGION}}" \
        --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
        --role="roles/run.invoker"

        SERVICE_NAME_3=$(gcloud functions describe ${{ env.CLOUD_FUNCTION_3_NAME }} --region=${{ env.REGION }} --format="value(serviceConfig.service)")
        gcloud run services add-iam-policy-binding $SERVICE_NAME_3 \
        --region="${{env.REGION}}" \
        --member="serviceAccount:${{env.SERVICE_ACCOUNT_NAME}}@${{secrets.PROJECT_ID}}.iam.gserviceaccount.com" \
        --role="roles/run.invoker"


        gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_1_NAME}} \
        --region="${{env.REGION}}" \
        --member="allUsers"

        gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_2_NAME}} \
        --region="${{env.REGION}}" \
        --member="allUsers"

        gcloud functions add-invoker-policy-binding ${{env.CLOUD_FUNCTION_3_NAME}} \
        --region="${{env.REGION}}" \
        --member="allUsers"
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-bigquery-dataset-bigquery-tables

deploy-bigquery-dataset-bigquery-tables:
    needs: [enable-services, deploy-buckets, deploy-cloud-function, deploy-composer-service-account ]
    runs-on: ubuntu-22.04
    timeout-minutes: 10

    steps:
    - name: Checkout
      uses: actions/checkout@v4

    - name: Authorize GCP
      uses: 'google-github-actions/auth@v2'
      with:
        credentials_json:  ${{ secrets.GCP_DEVOPS_SA_KEY }}

    # Step to Authenticate with GCP
    - name: Set up Cloud SDK
      uses: google-github-actions/setup-gcloud@v2
      with:
        version: '>= 363.0.0'
        project_id: ${{ secrets.PROJECT_ID }}

    # Step to Configure Docker to use the gcloud command-line tool as a credential helper
    - name: Configure Docker
      run: |-
        gcloud auth configure-docker


    - name: Create Big Query Dataset
      run: |-  
        if ! bq ls --project_id ${{ secrets.PROJECT_ID}} -a | grep -w ${{ env.BIGQUERY_DATASET}} &> /dev/null; \
          then 

            bq --location=${{ env.REGION }} mk \
          --default_table_expiration 0 \
          --dataset ${{ env.BIGQUERY_DATASET }}

          else
            echo "Big Query Dataset : ${{ env.BIGQUERY_DATASET }} already exists" ! 
          fi

    - name: Create Big Query table
      run: |-
        TABLE_NAME_CUSTOMER=${{ env.BIGQUERY_DATASET}}.${{ env.BIGQUERY_TABLE_CUSTOMER}}
        c=0
        for table in $(bq ls --max_results 1000 "${{ secrets.PROJECT_ID}}:${{ env.BIGQUERY_DATASET}}" | tail -n +3 | awk '{print $1}'); do

            # Determine the table type and file extension
            if bq show --format=prettyjson $BIGQUERY_TABLE_CUSTOMER | jq -r '.type' | grep -q -E "TABLE"; then
              echo "Dataset ${{ env.BIGQUERY_DATASET}} already has table named : $table " !
              if [ "$table" == "${{ env.BIGQUERY_TABLE_CUSTOMER}}" ]; then
                echo "Dataset ${{ env.BIGQUERY_DATASET}} already has table named : $table " !
                ((c=c+1))       
              fi                  
            else
                echo "Ignoring $table"            
                continue
            fi
        done
        echo " contador $c "
        if [ $c == 0 ]; then
          echo "Creating table named : $table for Dataset ${{ env.BIGQUERY_DATASET}} " !

          bq mk --table \
          $TABLE_NAME_CUSTOMER \
          ./big_query_schemas/customer_schema.json


        fi
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-composer-environment

deploy-composer-environment:
    needs: [enable-services, deploy-buckets, deploy-cloud-function, deploy-composer-service-account, deploy-bigquery-dataset-bigquery-tables ]
    runs-on: ubuntu-22.04
    timeout-minutes: 40

    steps:
    - name: Checkout
      uses: actions/checkout@v4

    - name: Authorize GCP
      uses: 'google-github-actions/auth@v2'
      with:
        credentials_json:  ${{ secrets.GCP_DEVOPS_SA_KEY }}

    # Step to Authenticate with GCP
    - name: Set up Cloud SDK
      uses: google-github-actions/setup-gcloud@v2
      with:
        version: '>= 363.0.0'
        project_id: ${{ secrets.PROJECT_ID }}

    # Step to Configure Docker to use the gcloud command-line tool as a credential helper
    - name: Configure Docker
      run: |-
        gcloud auth configure-docker

    # Create composer environments
    - name: Create composer environments
      run: |-
        if ! gcloud composer environments list --project=${{ secrets.PROJECT_ID }} --locations=${{ env.REGION }} | grep -i ${{ env.COMPOSER_ENV_NAME }} &> /dev/null; then
            gcloud composer environments create ${{ env.COMPOSER_ENV_NAME }} \
                --project ${{ secrets.PROJECT_ID }} \
                --location ${{ env.REGION }} \
                --environment-size ${{ env.COMPOSER_ENV_SIZE }} \
                --image-version ${{ env.COMPOSER_IMAGE_VERSION }} \
                --service-account ${{ env.SERVICE_ACCOUNT_NAME }}@${{ secrets.PROJECT_ID }}.iam.gserviceaccount.com
        else
            echo "Composer environment ${{ env.COMPOSER_ENV_NAME }} already exists!"
        fi

    # Create composer environments
    - name: Create composer variable PROJECT_ID 
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION}} variables \
        -- set PROJECT_ID ${{ secrets.PROJECT_ID }}

    - name: Create composer variable REGION
      run: |-  
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
          --location ${{ env.REGION }} variables \
          -- set REGION ${{ env.REGION }}

    - name: Create composer variable CLOUD_FUNCTION_1_NAME
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }}\
          --location ${{ env.REGION }} variables \
          -- set CLOUD_FUNCTION_1_NAME ${{ env.CLOUD_FUNCTION_1_NAME }}

    - name: Create composer variable CLOUD_FUNCTION_2_NAME
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} variables \
        -- set CLOUD_FUNCTION_2_NAME ${{ env.CLOUD_FUNCTION_2_NAME }}

    - name: Create composer variable CLOUD_FUNCTION_3_NAME
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} variables \
        -- set CLOUD_FUNCTION_3_NAME ${{ env.CLOUD_FUNCTION_3_NAME }}

    - name: Create composer variable BUCKET_DATALAKE
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION}} variables \
        -- set BUCKET_NAME ${{ secrets.BUCKET_DATALAKE }}

    - name: Create composer variable TRANSIENT_FILE_PATH
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} variables \
        -- set TRANSIENT_FILE_PATH ${{ env.TRANSIENT_FILE_PATH }}

    - name: Create composer variable BRONZE_PATH 
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} variables \
        -- set BRONZE_PATH ${{ env.BRONZE_PATH }}

    - name: Create composer variable SILVER_PATH
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} variables \
        -- set SILVER_PATH ${{ env.SILVER_PATH }}

    - name: Create composer variable REGION_PROJECT_ID
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} variables \
        -- set REGION_PROJECT_ID "${{ env.REGION }}-${{ secrets.PROJECT_ID }}"


    - name: Create composer variable BIGQUERY_DATASET
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} variables \
        -- set BIGQUERY_DATASET "${{ env.BIGQUERY_DATASET }}"

    - name: Create composer variable BIGQUERY_TABLE_CUSTOMER
      run: |-
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} variables \
        -- set BIGQUERY_TABLE_CUSTOMER "${{ env.BIGQUERY_TABLE_CUSTOMER }}"
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

deploy-composer-http-connection

deploy-composer-http-connection:
    needs: [enable-services, deploy-buckets, deploy-cloud-function, deploy-composer-service-account, deploy-bigquery-dataset-bigquery-tables, deploy-composer-environment ]
    runs-on: ubuntu-22.04

    steps:
    - name: Checkout
      uses: actions/checkout@v4

    - name: Authorize GCP
      uses: 'google-github-actions/auth@v2'
      with:
        credentials_json:  ${{ secrets.GCP_DEVOPS_SA_KEY }}

    # Step to Authenticate with GCP
    - name: Set up Cloud SDK
      uses: google-github-actions/setup-gcloud@v2
      with:
        version: '>= 363.0.0'
        project_id: ${{ secrets.PROJECT_ID }}

    # Step to Configure Docker to use the gcloud command-line tool as a credential helper
    - name: Configure Docker
      run: |-
        gcloud auth configure-docker

    - name: Create composer http connection HTTP_CONNECTION
      run: |-
        HOST="https://${{ env.REGION }}-${{ secrets.PROJECT_ID }}.cloudfunctions.net"
        gcloud composer environments run ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} connections \
        -- add ${{ env.HTTP_CONNECTION }} \
        --conn-type ${{ env.CONNECTION_TYPE  }} \
        --conn-host $HOST
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

روز استقرار

deploy-dags:
    needs: [enable-services, deploy-buckets, deploy-cloud-function, deploy-composer-service-account, deploy-bigquery-dataset-bigquery-tables, deploy-composer-environment, deploy-composer-http-connection ]
    runs-on: ubuntu-22.04

    steps:
    - name: Checkout
      uses: actions/checkout@v4

    - name: Authorize GCP
      uses: 'google-github-actions/auth@v2'
      with:
        credentials_json:  ${{ secrets.GCP_DEVOPS_SA_KEY }}

    # Step to Authenticate with GCP
    - name: Set up Cloud SDK
      uses: google-github-actions/setup-gcloud@v2
      with:
        version: '>= 363.0.0'
        project_id: ${{ secrets.PROJECT_ID }}

    - name: Get Composer bucket name and Deploy DAG to Composer
      run: |-
        COMPOSER_BUCKET=$(gcloud composer environments describe ${{ env.COMPOSER_ENV_NAME }} \
        --location ${{ env.REGION }} \
        --format="value(config.dagGcsPrefix)")
        gsutil -m cp -r ./dags/* $COMPOSER_BUCKET/dags/
وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

منابع ایجاد شده پس از استقرار

پس از تکمیل فرآیند استقرار، منابع زیر در دسترس خواهند بود:

  1. سطل های ذخیره سازی ابری: در لایه های برنز، نقره ای و طلایی سازماندهی شده است.
  2. توابع ابری:: مسئول پردازش داده ها در سه لایه است.
  3. حساب سرویس برای آهنگساز:: با مجوزهای مناسب برای فراخوانی توابع ابری.
  4. مجموعه داده ها و جداول BigQuery: یک DataFrame ایجاد شده برای ذخیره داده های پردازش شده.
  5. محیط Google Composer: عملکردهای ابری را با اجرای روزانه هماهنگ می کند.
  6. آهنگساز امروز: DAG گردش کاری را مدیریت می کند که توابع Cloud را فراخوانی می کند و داده ها را پردازش می کند.

نتیجه گیری

این راه حل نشان می دهد که چگونه می توان از Google Cloud Functions، Composer و BigQuery برای ایجاد یک خط لوله پردازش داده سه لایه قوی استفاده کرد. اتوماسیون با استفاده از GitHub Actions یک فرآیند استقرار روان و قابل تکرار را تضمین می کند و مدیریت خطوط لوله داده مبتنی بر ابر را در مقیاس آسان تر می کند.

مراجع

  1. اسناد پلت فرم Google Cloud: https://cloud.google.com/docs
  2. مستندات GitHub Actions:: https://docs.github.com/en/actions
  3. اسناد Google Composer:: https://cloud.google.com/composer/docs
  4. مستندات توابع ابری: https://cloud.google.com/functions/docs
  5. GitHub Repo: https://github.com/jader-lima/gcp-cloud-functions-to-bigquery
تصویر ek3nk4r ek3nk4r ارسال ایمیل 2024-10-25
0 3 خواندن این مطلب 21 دقیقه زمان میبرد
تصویر ek3nk4r

ek3nk4r

نوشته های مشابه

نسخه ی نمایشی نوار ماکت AI توضیح داد

نسخه ی نمایشی نوار ماکت AI توضیح داد

2025-06-02
گره سفارشی N8N خود را ایجاد کنید

گره سفارشی N8N خود را ایجاد کنید

2025-06-02
🚀 چرا Cloud Native & DevOps برای هر شرکت مدرن ضروری است؟

🚀 چرا Cloud Native & DevOps برای هر شرکت مدرن ضروری است؟

2025-06-02
توسعه Harmonyos (XI): اجرای صفحه برای ارسال اطلاعات شغلی

توسعه Harmonyos (XI): اجرای صفحه برای ارسال اطلاعات شغلی

2025-06-02

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا