Hadoop FS Shell Expunge: بهینه سازی فضای ذخیره سازی HDFS با سهولت

Summarize this content to 400 words in Persian Lang

معرفی

به مجموعه آزمایشگاهی هیجان انگیز ما در یک پایگاه بین ستاره ای خوش آمدید که در آن نقش یک ارتباط دهنده ماهر بین کهکشانی را بازی می کنید. در این سناریو، شما وظیفه دارید Hadoop HDFS را با استفاده از دستور FS Shell expunge برای حفظ یکپارچگی داده ها و بهینه سازی استفاده از ذخیره سازی مدیریت کنید. ماموریت شما اطمینان از پاکسازی کارآمد فایل ها و دایرکتوری های غیر ضروری برای آزاد کردن فضای ذخیره سازی و بهبود عملکرد سیستم است.

فعال کردن و پیکربندی ویژگی HDFS Trash

در این مرحله، اجازه دهید با دسترسی به Hadoop FS Shell و بررسی فایل ها و دایرکتوری های فعلی در سیستم فایل توزیع شده Hadoop شروع کنیم.

ترمینال را باز کنید و به آن سوئیچ کنید hadoop کاربر:

su – hadoop

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

در حال اصلاح /home/hadoop/hadoop/etc/hadoop/core-site.xml برای فعال کردن ویژگی Trash:

nano /home/hadoop/hadoop/etc/hadoop/core-site.xml

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

ویژگی زیر را بین برچسب ها:

fs.trash.interval
1440

fs.trash.checkpoint.interval
1440

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

فایل را ذخیره کرده و از ویرایشگر متن خارج شوید.

سرویس HDFS را مجددا راه اندازی کنید:

سرویس HDFS را متوقف کنید:

/home/hadoop/hadoop/sbin/stop-dfs.sh

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

سرویس HDFS را راه اندازی کنید:

/home/hadoop/hadoop/sbin/start-dfs.sh

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

یک فایل ایجاد کنید و آن را در HDFS حذف کنید:

یک فایل در HDFS ایجاد کنید:

hdfs dfs -touchz /user/hadoop/test.txt

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

فایل را حذف کنید:

hdfs dfs -rm /user/hadoop/test.txt

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

بررسی کنید که آیا ویژگی Trash فعال است یا خیر:

hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

شما باید فایلی را که حذف کرده اید در فهرست سطل زباله ببینید.

حذف فایل های غیر ضروری

حال، بیایید با استفاده از دستور FS Shell expunge، فایل‌ها و دایرکتوری‌های غیر ضروری را حذف کنیم.

تمام پست های بازرسی زباله را پاک کنید:

hdfs dfs -expunge -immediate

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

بررسی کنید که فایل های غیر ضروری با موفقیت پاک شده اند:

hdfs dfs -ls /user/hadoop/.Trash

وارد حالت تمام صفحه شوید

از حالت تمام صفحه خارج شوید

هیچ فایل یا دایرکتوری نباید لیست شده باشد.

خلاصه

در این آزمایشگاه، ما به قدرت فرمان Hadoop FS Shell expunge برای مدیریت و بهینه سازی ذخیره سازی داده ها در سیستم فایل توزیع شده Hadoop پرداختیم. با یادگیری نحوه راه‌اندازی FS Shell، مشاهده فایل‌های فعلی و حذف داده‌های غیرضروری، بینش‌های ارزشمندی در مورد حفظ یکپارچگی داده‌ها و بهبود عملکرد سیستم به دست آورده‌اید. تمرین این مهارت ها شما را مجهز می کند تا محیط Hadoop خود را به طور موثر مدیریت کنید و عملیات روان را تضمین کنید.

می خواهید بیشتر بدانید؟

به Discord ما بپیوندید یا برای ما توییت کنید @WeAreLabEx ! 😄

   su - hadoop

   nano /home/hadoop/hadoop/etc/hadoop/core-site.xml

    
        fs.trash.interval
        1440
    
    
        fs.trash.checkpoint.interval
        1440
    

   /home/hadoop/hadoop/sbin/stop-dfs.sh

   /home/hadoop/hadoop/sbin/start-dfs.sh

   hdfs dfs -touchz /user/hadoop/test.txt

   hdfs dfs -rm /user/hadoop/test.txt

   hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/

   hdfs dfs -expunge -immediate

   hdfs dfs -ls /user/hadoop/.Trash