BigQuery – انجمن DEV

Summarize this content to 400 words in Persian Lang
BigQuery یک سرویس تجزیه و تحلیل داده بسیار مقیاس پذیر و سریع است که توسط Google Cloud ارائه می شود. این برای پردازش حجم زیادی از داده ها در زمان واقعی طراحی شده است و تجزیه و تحلیل داده های ساختاریافته و بدون ساختار را تسهیل می کند. BigQuery از SQL به عنوان زبان پرس و جو اصلی خود استفاده می کند، اما همچنین با سایر ابزارهای تجزیه و تحلیل داده ها مانند رابط های Python، R و BI ادغام می کند.

در اینجا یک راهنمای گام به گام برای شروع است BigQuery.

1. راه اندازی اولیه BigQuery

قبل از اینکه بتوانید از BigQuery استفاده کنید، باید یک پروژه در Google Cloud راه اندازی کنید و BigQuery API را فعال کنید. در اینجا مراحل پیکربندی آمده است:

یک حساب Google Cloud ایجاد کنید (اگر قبلاً یکی را ندارید).

یک پروژه جدید ایجاد کنید هیچ کنسولی Google Cloud را انجام نمی دهد.

فعال API BigQuery هیچ کنسولی Google Cloud را انجام نمی دهد.

Crye um bucket do Cloud Storage (اختیاری، برای ذخیره داده ها قبل از بارگیری در BigQuery).

Google Cloud SDK را نصب کنید (در صورت استفاده از BigQuery از طریق خط فرمان یا پایتون).

2. ساختار پایه BigQuery

BigQuery داده ها را در سه سطح سازماندهی می کند:

پروژه ها: بالاترین سطح، معمولاً به حساب Google Cloud شما مرتبط است.

مجموعه داده ها: در یک پروژه، می توانید چندین مجموعه داده داشته باشید که به عنوان “پوشه” برای سازماندهی جداول و تجسم ها عمل می کنند.

جداول: داده های ذخیره شده در BigQuery که می توان به آنها دسترسی پیدا کرد، اصلاح کرد یا پرس و جو کرد.

3. جستارهای غیر BigQuery

شما می توانید پرس و جوهای SQL را برای دسترسی، دستکاری و تجزیه و تحلیل داده ها بنویسید. BigQuery از یک تغییر SQL به نام استفاده می کند SQL استاندارد (به جای SQL کلاسیک).

مثال 1: انتخاب ساده

برای بازیابی داده ها از جدول:

SELECT nome, idade
FROM `meu_projeto.meu_dataset.minha_tabela`
WHERE idade > 18;

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

انتخاب کنید: ستون هایی را که می خواهید انتخاب کنید مشخص می کند.

از: جدولی را که داده ها از آن گرفته می شود را مشخص می کند.

کجا: داده ها را بر اساس یک شرایط فیلتر می کند.

مثال 2: شمارش رکوردها

برای شمارش تعداد رکوردها در جدول:

SELECT COUNT(*) AS total_registros
FROM `meu_projeto.meu_dataset.minha_tabela`;

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

مثال 3: داده های گروهی

برای گروه بندی داده ها و اعمال توابع انبوه، مانند شمارش یا جمع:

SELECT idade, COUNT(*) AS total
FROM `meu_projeto.meu_dataset.minha_tabela`
GROUP BY idade
ORDER BY total DESC;

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

گروه توسط: داده ها را بر اساس ستون گروه بندی می کند idade.

COUNT

: تعداد رکوردهای هر گروه را می شمارد.سفارش توسط

: نتایج را بر اساس مجموع به ترتیب نزولی مرتب می کند. 4.

وارد کردن داده به BigQuery

می‌توانید داده‌ها را از منابع مختلفی مانند فایل‌های CSV، فایل‌های JSON، Google Sheets یا حتی سایر سرویس‌های Google Cloud مانند Cloud Storage وارد BigQuery کنید.

مثالی از نحوه بارگیری داده ها از یک فایل CSV:به BigQuery در Google Cloud Console دسترسی پیدا کنید
. در پنجره ناوبری سمت چپ، کلیک کنیدBigQuery
. کلیک کنید ایجاد مجموعه داده
(اگر قبلاً یکی را ندارید). پس از ایجاد یک مجموعه داده، روی آن کلیک کرده و سپس کلیک کنیدجدول ایجاد کنید
. انتخاب برای بارگیری
برای بارگیری داده ها از فایل CSV یا منبع Google Cloud (مانند فضای ذخیره سازی ابری).
طرح جدول (ستون ها و انواع داده ها) را پیکربندی کنید. کلیک کنید جدول ایجاد کنید

برای بارگذاری داده ها

CREATE OR REPLACE TABLE `meu_projeto.meu_dataset.nova_tabela`
AS
SELECT *
FROM `meu_projeto.meu_dataset.minha_tabela_existente`;

همچنین، می‌توانید از دستورات SQL برای وارد کردن مستقیم داده‌ها استفاده کنید:

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید 5.

توابع پیشرفته و سوالات فرعی می توانید از چندین تابع پیشرفته در BigQuery استفاده کنید، مانندپنجره ها ، توابع تجمع هسوالات فرعی

.

مثال 1: تابع پنجره

SELECT nome, idade,
SUM(idade) OVER (ORDER BY idade) AS soma_acumulada
FROM `meu_projeto.meu_dataset.minha_tabela`;

عملکرد پنجره به شما امکان می دهد محاسباتی مانند در حال اجرا مجموع یا رتبه ها را انجام دهید.

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

این پرس و جو مجموع تجمعی سن دانش آموزان را به ترتیب سن محاسبه می کند.

مثال 2: استعلام فرعی

SELECT nome, idade
FROM `meu_projeto.meu_dataset.minha_tabela`
WHERE idade > (SELECT AVG(idade) FROM `meu_projeto.meu_dataset.minha_tabela`);

یک پرس و جو فرعی را می توان در یک پرس و جو بزرگتر استفاده کرد.

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

این پرس و جو دانش آموزان مسن تر از میانگین سنی همه دانش آموزان را برمی گرداند. 6.

صادرات داده از BigQuery

پس از تجزیه و تحلیل داده‌های خود، می‌توانید آن‌ها را به Google Cloud Storage یا فرمت دیگری صادر کنید.

EXPORT DATA OPTIONS(
uri=’gs://meu_bucket/resultado/*.csv’,
format=’CSV’
) AS
SELECT * FROM `meu_projeto.meu_dataset.minha_tabela`;

نمونه صادرات:

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

این داده‌های جدول را به فایل‌های CSV ذخیره‌شده در Google Cloud Storage صادر می‌کند. 7.

امنیت و کنترل دسترسی BigQuery کنترل دسترسی دقیق را با استفاده از آن فراهم می کندIAM (مدیریت هویت و دسترسی)

. شما می توانید مجوزها را برای اجازه یا رد دسترسی به پروژه ها، مجموعه داده ها و جداول پیکربندی کنید.نقش های IAM roles/bigquery.dataViewer: BigQuery چندین نقش مانند roles/bigquery.dataEditor، roles/bigquery.admin، ه

، که می توانید به کاربران یا گروه ها اختصاص دهید. 8.

BigQuery com Python google-cloud-bigquery می توانید با استفاده از کتابخانه با BigQuery تعامل داشته باشید

در پایتون در اینجا یک مثال اساسی وجود دارد:

pip install google-cloud-bigquery

نصب کتابخانه:

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

from google.cloud import bigquery

# Criando um cliente BigQuery
client = bigquery.Client()

# Definindo uma consulta SQL
query = “””
SELECT nome, idade
FROM `meu_projeto.meu_dataset.minha_tabela`
WHERE idade > 18
“””

# Executando a consulta
query_job = client.query(query)

# Aguardando o término da consulta e exibindo os resultados
results = query_job.result()
for row in results:
print(f”{row.nome}: {row.idade}”)

مثال کد پایتون:

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید 9.

روش های خوب در BigQueryاز استفاده از SELECT * در پرس و جوهای پیچیده خودداری کنید

: فقط ستون هایی را که واقعاً برای بهبود عملکرد نیاز دارید انتخاب کنید.از پارتیشن ها و خوشه بندی استفاده کنید

: جداول خود را سازماندهی کنید تا پرس و جوها بتوانند کارآمدتر اجرا شوند.نظارت بر هزینه ها

: BigQuery بر اساس میزان داده های پردازش شده هزینه می گیرد، بنابراین نوشتن پرس و جوهای کارآمد و پرهیز از اسکن های غیرضروری حجم زیادی از داده ها مهم است.

نتیجه گیری BigQuery یک ابزار قدرتمند برای تجزیه و تحلیل حجم زیادی از داده ها است. با استفاده از SQL می توانید پرس و جوهای پیچیده، تجمیع، صادرات و موارد دیگر را انجام دهید. همانطور که درباره BigQuery بیشتر می‌آموزید، ویژگی‌هایی مانند این را کاوش کنیدپارتیشن بندی جدول ،میزهای موقت ، هدیدگاه ها ، و همچنین ابزارهایی مانند BigQuery ML

برای تجزیه و تحلیل پیش بینی

اگر سوال خاصی دارید یا نیاز به جزئیات بیشتری در مورد یک جنبه دارید، می توانم مثال ها یا توضیحات بیشتری ارائه دهم!

SELECT nome, idade
FROM `meu_projeto.meu_dataset.minha_tabela`
WHERE idade > 18;

SELECT COUNT(*) AS total_registros
FROM `meu_projeto.meu_dataset.minha_tabela`;

SELECT idade, COUNT(*) AS total
FROM `meu_projeto.meu_dataset.minha_tabela`
GROUP BY idade
ORDER BY total DESC;

CREATE OR REPLACE TABLE `meu_projeto.meu_dataset.nova_tabela`
AS
SELECT *
FROM `meu_projeto.meu_dataset.minha_tabela_existente`;

SELECT nome, idade,
       SUM(idade) OVER (ORDER BY idade) AS soma_acumulada
FROM `meu_projeto.meu_dataset.minha_tabela`;

SELECT nome, idade
FROM `meu_projeto.meu_dataset.minha_tabela`
WHERE idade > (SELECT AVG(idade) FROM `meu_projeto.meu_dataset.minha_tabela`);

EXPORT DATA OPTIONS(
  uri='gs://meu_bucket/resultado/*.csv',
  format='CSV'
) AS
SELECT * FROM `meu_projeto.meu_dataset.minha_tabela`;

pip install google-cloud-bigquery

from google.cloud import bigquery

# Criando um cliente BigQuery
client = bigquery.Client()

# Definindo uma consulta SQL
query = """
    SELECT nome, idade
    FROM `meu_projeto.meu_dataset.minha_tabela`
    WHERE idade > 18
"""

# Executando a consulta
query_job = client.query(query)

# Aguardando o término da consulta e exibindo os resultados
results = query_job.result()
for row in results:
    print(f"{row.nome}: {row.idade}")

اگر سوال خاصی دارید یا نیاز به جزئیات بیشتری در مورد یک جنبه دارید، می توانم مثال ها یا توضیحات بیشتری ارائه دهم!