🔗مطالب مرتبط
می توانید مخزن مربوطه را در موارد زیر بیابید:
🐱🏍گیت هاب
می توانید با من در ارتباط باشید:
🧬لینکداین
رزومه 🧾
همه این وبلاگ از پوسته استفاده می کند.
ما یک خوشه در Dataproc راه اندازی خواهیم کرد که در آن ابتدا باید Google SDK را داشته باشیم و یک سطل را در Cloud Storage نمونه برداری کنیم.
برای اطلاعات بیشتر و پتانسیل این موضوع اینجا را کلیک کنید.
پیش شرط ها:
- باید SDK را نصب کرده باشید. شما می توانید این کار را در مراحل بعدی انجام دهید توجه: من نام مستعار را برای استفاده از SDK مانند msdk تنظیم کردم.
- شما باید یک سطل نمونه داشته باشید. شما می توانید این کار را در مراحل بعدی انجام دهید توجه: من یک سطل به نام xlmriosx_bucket تنظیم کردم.
1- یک نام را برای خوشه تنظیم کنید ✍️
ما به متغیری نامی که خوشه خواهد داشت اختصاص می دهیم.
من از دستور زیر استفاده می کنم:
CLUSTER_NAME="xlmriosx_cluster"
2- ایجاد سطل 💠
با استفاده از SDK نصب شده با نام مستعار مانند msdk، از دستور زیر برای ایجاد یک کلاستر استفاده می کنم:
msdk gcloud beta dataproc clusters create $CLUSTER_NAME \
--optional-components=ANACONDA,JUPYTER \
--image-version=$IMAGE_VERSION \
--enable-component-gateway \
--region=$REGION \
--num-workers=$NUM_WORKERS \
--master-machine-type=$MASTER_MACHINE_TYPE \
--worker-machine-type=$WORKER_MACHINE_TYPE \
--bucket=$BUCKET_NAME \
--tags=$TAGS
جایی که:
$CLUSTER_NAME -> نامی است که خوشه شما را خواهد داشت. در این مورد xlmriosx_cluster.
$IMAGE_VERSION -> نسخه ای از تصویر است که از آن استفاده خواهیم کرد. مثال: 1.3
$REGION -> منطقه ای که می خواهید در سطل ذخیره سازی شما باقی بماند. مثال: us-central1
$NUM_WORKERS -> تعداد کارگران یا گره هایی است که داده ها را پردازش می کنند. مثال: 2
$MASTER_MACHINE_TYPE -> نوعی ماشین است که از ماشین اصلی ما استفاده می کند. مثال: n1-standard-1
$WORKER_MACHINE_TYPE -> نوعی ماشین است که از ماشین کارگر ما استفاده می کند. مثال: n1-standard-1
$BUCKET_NAME -> نام خوشه ما است که در آن مانند منبع و مقصد استفاده می شود. مثال: xlmriosx_bucket
$TAGS -> برچسبی است برای دانستن فرآیند ایجاد خوشه. به عنوان مثال: علم داده
3- بررسی کنید که سطل شما ایجاد شده است✅
ما خوشه ها را فهرست می کنیم تا تأیید کنیم که ایجاد شده است:
gcloud beta dataproc clusters list --region=$REGION
خروجی:
| نام | WORKER_COUNT | PREEMPTIBLE_WORKER_COUNT | وضعیت | زون | SCHEDULED_DELETE |
| — | — | — | — | — | — |
| xlmriosx_cluster | 3 | – | – | در حال اجرا | us-central1-c |
چهارم – نوت بوک Jupyter را در مرورگر محلی خود باز کنید
مشاهده و دسترسی به URLهای دروازه مؤلفه را ببینید تا روی پیوندهای دروازه مؤلفه در کنسول Cloud کلیک کنید تا نوت بوک Jupyter و رابط کاربری JupyterLab در حال اجرا بر روی گره اصلی خوشه در مرورگر محلی شما باز شود.
چهارم – نوت بوک Jupyter را در مرورگر محلی خود باز کنید
5- تشکر کنید، لایک کنید و اگر مفید بود یا جالب بود به اشتراک بگذارید 😁🖖
