در این مقاله راهنمای مفصلی در مورد نحوه پیکربندی تنظیمات برای موارد استفاده زیر:
- با استفاده از جداول ایجاد شده در Databricks در پارچه
- با استفاده از جداول ایجاد شده در پارچه در Databricks
::: اطلاعات توجه داشته باشید
این مقاله بخشی از یک سری چهار قسمتی است:
1. بررسی اجمالی و هدف از قابلیت همکاری
2 پیکربندی دقیق ذخیره سازی توپی (این مقاله)
3. با استفاده از جداول ایجاد شده در پارچه در Databricks
4. با استفاده از جداول ایجاد شده در Databricks در پارچه
:::
① یک حساب ذخیره سازی را در پورتال لاجورد به عنوان قطب مستقر کنید
::: توجه داشته باشید هشدار دهید
فضای نام سلسله مراتبی را فعال کنید.
:::
② یک ظروف به نام “هاب” و دایرکتوری به نام “ext” ایجاد کنید
① یک خانه دریاچه ایجاد کنید
::: توجه داشته باشید هشدار دهید
Schema Lakehouse (پیش نمایش عمومی) را فعال کنید.
:::
storage ذخیره توپی در میانبر جدید طرحواره دریاچه را مشخص کنید
از [Tables] در Lakehouse ، روی منوی سه نقطه کلیک کنید و انتخاب کنید [New Schema Shortcut]بشر
انتخاب کردن [Azure Data Lake Gen2]بشر
جزئیات ایجاد یک اتصال جدید را وارد کنید.
::: اطلاعات توجه داشته باشید
نحوه بررسی URL دسترسی ADLS2:
می توانید آن را از حساب ذخیره سازی تأیید کنید [Endpoints] بخش تحت “ذخیره دریاچه داده”.
:::
فهرست “ext” را فعال کرده و کلیک کنید [Next]بشر
کلیک کردن [Create]بشر
فهرست “ext” به عنوان یک میانبر طرحواره خارجی ایجاد می شود.
connector یک کانکتور دسترسی برای پایگاه داده لاجورد در پورتال لاجورد ایجاد کنید
مراحل زیر “مرحله 1: ایجاد یک کانکتور دسترسی برای Databricks Azure” را در “استفاده از هویت مدیریت شده Azure برای دسترسی به ذخیره سازی در کاتالوگ وحدت” ، با استفاده از یک هویت مدیریت شده با سیستم ایجاد کنید.
connector دسترسی به کانکتور به ذخیره توپی از پورتال لاجورد اعطا کنید
“مرحله 2: دسترسی به هویت مدیریت شده به حساب ذخیره سازی” را در همان راهنما دنبال کنید.
③ ایجاد اعتبار ذخیره سازی در Databricks
وارد Databricks شوید و به آن بروید [Catalog] > [+] > [Add Storage Credentials]بشر
اعتبار جدید ذخیره سازی را اضافه کنید.
| | مقدار ورودی |
|:-: |:-: |
| اعتبارنامه ذخیره سازی یا اعتبارنامه خدمات | اعتبارنامه ذخیره سازی |
| نام اعتبار | هر نام |
| شناسه کانکتور دسترسی | شناسه منبع اتصال ایجاد شده در مرحله ① (می تواند در پورتال لاجورد تأیید شود) |
پس از ایجاد ، روی نام اعتبار تازه ایجاد شده کلیک کنید.
کلیک کردن [Permissions] > [Grant]بشر
اعطا کردن [ALL PRIVILEGES] به کاربران لازم
::: اطلاعات توجه داشته باشید
مرجع برای مراحل و مجوزهای مورد نیاز:
برای اتصال به Azure Data Lake Storage Gen2 اعتبار ذخیره سازی ایجاد کنید
:::
④ یک مکان خارجی را در Databricks اضافه کنید
وارد Databricks شوید و به آن بروید [Catalog] > [+] > [Add External Location]بشر
یک مکان خارجی جدید ایجاد کنید.
| | مقدار ورودی |
|:-: |:-: |
| نام مکان خارجی | هر نام |
| URL | abfss: // دایرکتوری-نام (HUB) @ ذخیره سازی-ACCOUNT-name.dfs.windows.net |
| اعتبارنامه ذخیره سازی | اعتبارنامه ایجاد شده در مرحله ③ را انتخاب کنید |
::: اطلاعات توجه داشته باشید
نحوه تعیین URL:
به حساب ذخیره سازی مراجعه کنید [Endpoints] بخش مورد استفاده در مرحله ② “اتصال پارچه به ذخیره سازی توپی”.
:::
::: اطلاعات توجه داشته باشید
مرجع برای مراحل و مجوزهای مورد نیاز:
یک مکان خارجی برای اتصال ذخیره سازی ابر به Databricks Azure ایجاد کنید
:::
حالا همه چیز تنظیم شده است!
در مرحله بعد ، اجازه دهید قابلیت همکاری واقعی جداول را انجام دهیم.
▽ مقاله بعدی
مقدمه آیا Databricks می تواند یکپارچه به جداول ایجاد شده با پارچه مراجعه و ویرایش کند؟ من مطمئن هستم که افراد زیادی هستند که این نوع سوال را دارند. بنابراین این بار با استفاده از پارچه می نویسم یک میز …
qiita.com
article مقاله قبلی
مقدمه پارچه و پایگاه داده مایکروسافت ویژگی های خاص خود را دارند ، اما در چارچوب کلی آنها می توانند به طور مشابه انجام دهند. از طریق آینه سازی کاتالوگ وحدت Databricks Azure …
qiita.com
