برگه تقلب AWS Kinesis – جامعه dev

در زیر نشانگرهای مهم برای سرویس AWS Kinesis (برگه تقلب) برای آزمون مهندس داده های دارای مجوز AWS وجود دارد.

اجزای اصلی AWS Kinesis

AWS Kinesis بستری برای پخش داده ها در AWS است ، و جمع آوری ، پردازش و تجزیه و تحلیل در زمان واقعی ، داده های جریان را آسان می کند.

نقشه ذهن: اکوسیستم AWS Kinesis

AWS Kinesis
├── Kinesis Data Streams
│   ├── Producers
│   │   ├── AWS SDK
│   │   ├── Kinesis Producer Library (KPL)
│   │   └── Kinesis Agent
│   ├── Consumers
│   │   ├── AWS SDK
│   │   ├── Kinesis Client Library (KCL)
│   │   ├── Lambda
│   │   └── Kinesis Data Firehose
│   └── Shards (throughput units)
├── Kinesis Data Firehose
│   ├── Sources
│   │   ├── Direct PUT
│   │   ├── Kinesis Data Streams
│   │   └── CloudWatch Logs/Events
│   └── Destinations
│       ├── S3
│       ├── Redshift
│       ├── Elasticsearch
│       └── Splunk
├── Kinesis Data Analytics
│   ├── SQL Applications
│   └── Apache Flink Applications
└── Kinesis Video Streams
    ├── Producers (cameras, etc.)
    └── Consumers (ML services, etc.)

ویژگی ها و مشخصات دقیق

داده های Kinesis شیرجه عمیق

1 قسمت: واحد اصلی توان برای جریان داده های Kinesis. هر Shard ورودی داده های 1MB/SEC و ظرفیت خروجی داده 2MB/SEC را فراهم می کند.

2 کلید پارتیشن: تعیین می کند که یک رکورد داده به کدام یک می رود. طراحی کلیدی پارتیشن خوب ، حتی توزیع را در قسمتهای مختلف تضمین می کند.

3 شماره توالی: شناسه منحصر به فرد برای هر رکورد در یک رکورد ، که هنگام مصرف یک رکورد اختصاص داده می شود.

4 ضبط داده ها: واحد داده های ذخیره شده در جریان داده های Kinesis (حداکثر 1 مگابایت).

5 دوره حفظ: داده ها را می توان از 24 ساعت (پیش فرض) تا 365 روز ذخیره کرد.

6 طرفدار پیشرفته: توان اختصاصی 2MB/SEC را برای هر مصرف کننده در هر نیمکت فراهم می کند (در مقابل مشترک 2MB/SEC بدون آن).

7 حالتهای ظرفیت:

• تهیه شده: شما تعداد قسمتهای آن را مشخص می کنید
• در صورت تقاضا: مقیاس های خودکار بر اساس توان مشاهده شده

8 عملیات تغییر شکل:

• تقسیم شارد: ظرفیت جریان را افزایش می دهد
• Shard Merge: ظرفیت جریان را کاهش می دهد

9 گزینه های تولید کننده:

• AWS SDK (عملکرد ساده و کم)
• کتابخانه تولید کننده Kinesis (KPL) (عملکرد بالا ، دسته بندی ، امتحان مجدد)
• kinesis Agent (مجموعه پرونده ورود به سیستم)

10 گزینه های مصرف کننده:
– AWS SDK (ساده ، دستی)
– کتابخانه مشتری Kinesis (KCL) (توزیع ، مصرف هماهنگ)
– لامبدا (پردازش بدون سرور)
– Firehose (تحویل به مقصد)

11 نمونه محاسبه توان:
– مصرف مورد نیاز: 10 مگابایت در ثانیه
– shards مورد نیاز = 10MB ÷ 1MB = 10 Shards

12 KCL در مقابل KPL: KPL (کتابخانه تولید کننده) تولید داده ها را با دسته بندی و آزمایش مجدد انجام می دهد. KCL (کتابخانه مصرف کننده) مصرف توزیع شده با بازرسی را مدیریت می کند.

اطلاعات کینزیس جزئیات آتش نشانی

13 بسامد تحویل:
-S3: اندازه بافر (1-128 مگابایت) یا فاصله بافر (60-900 ثانیه)
-سایر مقصد: اندازه بافر (1-100 مگابایت) یا فاصله بافر (60-900 ثانیه)

14 تحول داده ها: لامبدا می تواند سوابق را قبل از تحویل تغییر دهد.

15 تبدیل قالب: قبل از تحویل S3 ، داده ها را به پارکت یا ORC تبدیل کنید.

16 گزینه های فشرده سازی: GZIP ، زیپ ، برای تحویل S3.

17 رسیدگی به خطا: سوابق شکست خورده به یک سطل خطای S3 بروید.

18 پارتیشن بندی پویا: داده های پارتیشن در S3 بر اساس محتوای ضبط.

19. بدون از دست دادن داده: تا زمان تحویل موفقیت آمیز دوباره احیا شود.

20 بدون سرور: هیچ برنامه ریزی ظرفیت لازم نیست.

ویژگی های تجزیه و تحلیل داده Kinesis

21 برنامه های SQL: جریان های پردازش را با استفاده از نمایش داده های SQL.

22. برنامه های فلینک آپاچی: از جاوا ، اسکالا یا پایتون با فلینک آپاچی استفاده کنید.

23. منابع ورودی: جریان داده های Kinesis ، Firehose یا داده های مرجع S3.

24 ویژگی های پردازش:
– تجمع پنجره ها (ضرب و شتم ، کشویی ، جلسه)
– تشخیص ناهنجاری
-جریان به جریان می پیوندد

25 گزینه های خروجی: جریان داده های Kinesis ، Firehose یا Lambda.

26. مقیاس بندی: بر اساس واحدهای پردازش Kinesis (KPU).

27. بازرسی: پایداری حالت خودکار برای تحمل گسل.

28. موازی سازی: به طور خودکار پردازش را در چندین نمونه موازی می کند.

جریان های ویدئویی Kinesis

29 موارد استفاده: دوربین های امنیتی ، دوربین مدار بسته ، دوربین های بدنه ، فیدهای صوتی.

30 ادغام: با خدمات AWS ML مانند Rekognition و Sagemaker کار می کند.

31. تهیه کننده SDK: برای C ++ ، Android و iOS موجود است.

32 قطعات: فیلم برای پردازش به قطعات تقسیم می شود.

33 ابرداده: می توانید ابرداده با شاخص زمان را به جریان های ویدیویی وصل کنید.

بهینه سازی عملکرد و محدودیت ها

34 جریان داده های Kinesis محدودیت:
– در هر شارد: مصرف 1MB/SEC ، مصرف 2MB/SEC
– حداکثر اندازه رکورد: 1MB
– محدودیت های API: putrecord (1000 سوابق/ثانیه) ، getRecords (5 معاملات/ثانیه)
– حداکثر نگهداری داده ها: 365 روز

35 دست زدن به قسمتهای داغ: از یک طراحی کلید پارتیشن خوب برای توزیع یکنواخت داده استفاده کنید.

36 تغییر شکل بهترین روشها: در دوره های کم ترافیک انجام دهید. قبل از شروع عمل یک عمل را انجام دهید.

37 محدودیت های آتش نشانی داده های Kinesis:
– حداکثر اندازه رکورد: 1MB
– سهمیه خدمات: 5000 سوابق/ثانیه یا 5 مگابایت در ثانیه در هر جریان تحویل (قابل افزایش است)

38 محدودیت های تجزیه و تحلیل داده های Kinesis:
– برنامه های SQL: حداکثر 8 کیلوپله در هر برنامه
– برنامه های فلینک: بر اساس پیکربندی موازی

39 اجرای پرتاب:
– از Backoff Exponential برای آزمایشات استفاده کنید
– اجرای محدودیت نرخ سمت مشتری
– نظارت و هشدار در مورد معیارهای پرتاب

40 غلبه بر محدودیت نرخ:
– درخواست سهمیه افزایش می یابد
– اجرای دسته بندی با KPL
– اضافه کردن قسمت های بیشتر (جریان داده)

قابلیت پخش مجدد و بازیابی اطلاعات

41 گزینه های پخش مجدد در جریان داده های Kinesis:
– از شماره دنباله خاص شروع کنید
– از Timestamp شروع کنید
– از trim_horizon شروع کنید (قدیمی ترین رکورد موجود)
– از آخرین (جدیدترین رکورد) شروع کنید

42 بازرسی: KCL پیشرفت مصرف در DynamoDB را برای تحمل گسل ذخیره می کند.

43 استراتژی های پیش بینی:
– مصرف کننده جدید با نام برنامه های مختلف ایجاد کنید
– بازرسی های موجود در مصرف کننده موجود
– برای پردازش موازی از فن های پیشرفته استفاده کنید

44 ماندگاری داده ها: برای ذخیره سازی طولانی مدت ، بایگانی به S3 را از طریق Firehose در نظر بگیرید.

45 بازیابی فاجعه: تکثیر متقابل منطقه را با استفاده از Lambda اجرا کنید.

ادغام منبع باز

46 کتابخانه مشتری Kinesis (KCL) در مقابل مصرف کننده Apache Kafka:

47 ادغام فلینک آپاچی: تجزیه و تحلیل داده های Kinesis برای Apache Flink محیط فلینک مدیریت شده را فراهم می کند.

48 ادغام جریان جرقه: می تواند با استفاده از کانکتور Spark Kinesis از Kinesis مصرف کند.

مانیتورینگ CloudWatch برای Kinesis

49 معیارهای کلیدی برای جریان داده های Kinesis:
جدید GetRecords.IteratorAgeMilliseconds: سن قدیمی ترین رکورد (مقادیر بالا نشانگر تاخیر مصرف کننده است)
جدید IncomingBytes/IncomingRecords: حجم داده ها/سوابق نوشته شده
جدید ReadProvisionedThroughputExceeded/WriteProvisionedThroughputExceeded: رویدادهای پرتاب
جدید PutRecord.Success/GetRecords.Success: نرخ موفقیت برای عملیات

50 معیارهای کلیدی برای داده های Kinesis Firehose:
جدید DeliveryToS3.Success: میزان موفقیت تحویل S3
جدید IncomingBytes/IncomingRecords: حجم داده ها/سوابق دریافت شده
جدید ThrottledRecords: تعداد سوابق پرتاب شده
جدید DeliveryToS3.DataFreshness: سن قدیمی ترین سابقه ای که هنوز تحویل داده نشده است

51 معیارهای کلیدی برای تجزیه و تحلیل داده های Kinesis:
جدید KPUs: تعداد KPU های مورد استفاده
جدید fullRestarts: تعداد راه اندازی مجدد برنامه
جدید downtime: خرابی برنامه
جدید InputProcessing.OkBytes/InputProcessing.OkRecords: داده های با موفقیت پردازش شده

52 هشدارهای توصیه شده:
– سن تکرار> 30 ثانیه (تاخیر مصرف کننده)
– نرخ پرتاب زیاد (> 10 ٪)
– طراوت تحویل> زمان بافر + 60 ثانیه (Firehose)
– نرخ خطا> 1 ٪

امنیت و انطباق

53 رمز:
– رمزگذاری سمت سرور با KMS
– نقاط پایانی HTTPS برای رمزگذاری در انتقال
– گزینه های رمزگذاری سمت مشتری

54 احراز هویت و مجوز:
– نقش ها و سیاست های IAM
– کنترل دسترسی ریز دانه با IAM

55 ادغام VPC: دسترسی خصوصی از طریق نقاط پایانی VPC.

56 رعایت: از HIPAA ، PCI DSS ، SOC و انطباق ISO پشتیبانی می کند.

57 ورود به سیستم حسابرسی: تمام تماس های API که به CloudTrail وارد شده اند.

بهینه سازی هزینه

58 kinesis Data جریان فاکتورهای هزینه:
– ساعت شارد (حالت تهیه شده)
– داده های مصرف شده (حالت تقاضا)
– حفظ داده های گسترده (فراتر از 24 ساعت)
– مصرف کنندگان طرفدار پیشرفته

59 فاکتورهای هزینه آتش سوزی داده های کینزیس:
– داده های مصرف شده
– تبدیل قالب
– تحویل VPC

60 kinesis داده های تجزیه و تحلیل فاکتورهای هزینه:
– ساعت KPU
– پشتیبان گیری از برنامه های بادوام

61 استراتژی های بهینه سازی هزینه:
– شمارش اندازه سمت راست
– از حالت تقاضا برای بارهای کاری متغیر استفاده کنید
– سوابق دسته ای در صورت امکان
– نظارت و تنظیم منابع بر اساس الگوهای استفاده

معماری ها و الگوهای مشترک

62 خط لوله تحلیلی در زمان واقعی:
– جریان داده ها → تجزیه و تحلیل داده → Firehose → S3/redshift

63 خط لوله پردازش ورود به سیستم:
– سیاهههای مربوط به Cloodachtch → Firehose → S3 → Athena

64 خط لوله داده IoT:
– IoT Core → جریان داده ها → Lambda → DynamoDB

65 تجزیه و تحلیل جریان کلیک:
– وب/موبایل → کینسیس جریان داده ها → تجزیه و تحلیل داده → الاستیک

66 خط لوله یادگیری ماشین:
– جریان داده ها → Firehose → S3 → Sagemaker

نکات امتحان و سناریوهای مشترک

67 سناریو: مصرف با توان بالا
– راه حل: از KPL با دسته بندی و شمارش مناسب استفاده کنید

68 سناریو: تاخیر مصرف کننده
– راه حل: مصرف کنندگان بیشتری را اضافه کنید ، از فن های پیشرفته استفاده کنید یا بهره وری پردازش را افزایش دهید

69 سناریو: تحول داده ها قبل از ذخیره سازی
– راه حل: از Firehose با تحول لامبدا استفاده کنید

70 سناریو: تشخیص ناهنجاری در زمان واقعی
– راه حل: تجزیه و تحلیل داده های Kinesis با عملکرد Random_cut_forest

71 سناریو: تجزیه و تحلیل ویدیو
– راه حل: جریان ویدیویی Kinesis با ادغام Rekognition

72 سناریو: پردازش دقیقاً یکپارچه
– راه حل: از KCL با مدیریت دقیق ایست بازرسی استفاده کنید

73 سناریو: تکثیر بین منطقه
– راه حل: برنامه مصرف کننده که از یک منطقه می خواند و به منطقه دیگر تولید می کند

74 سناریو: رسیدگی به ترافیک تند
– راه حل: حالت ظرفیت در تقاضا برای جریان داده ها

75 سناریو: تجزیه و تحلیل طولانی مدت
– راه حل: Firehose to S3 با آتنا یا طیف redshift

76 سناریو: غنی سازی جریان
– راه حل: تجزیه و تحلیل داده های Kinesis با داده های مرجع S3

عیب یابی موضوعات مشترک

77 ارائه شده:
– علت: بیش از حد محدود
– راه حل: قسمت های بیشتری را اضافه کنید ، BackOff را اجرا کنید ، از KPL Batching استفاده کنید

78 انقضاء:
– علت: پردازش داده ها در 5 دقیقه از بازیابی
– راه حل: سریعتر فرآیند یا درخواست داده های کمتری در هر تماس GetRecords

79 تاخیر مصرف کننده:
– علت: پردازش آهسته ، مصرف کنندگان کافی
– راه حل: مصرف کنندگان را اضافه کنید ، پردازش را بهینه کنید ، از فن های پیشرفته استفاده کنید

80 سوابق تکراری:
– علت: ترمیم های تولید کننده ، مجدداً مصرف کننده
– راه حل: پردازش idempotent را پیاده سازی کنید ، سوابق پردازش شده را پیگیری کنید

81 از دست دادن داده ها:
– علت: بیش از دوره احتباس ، عدم انجام شکست
– راه حل: افزایش احتباس ، اجرای خطای مناسب را اجرا کنید

82 توزیع شارد ناهموار:
– علت: انتخاب کلید پارتیشن ضعیف
– راه حل: از کلیدهای پارتیشن در سطح بالا استفاده کنید ، از کلیدهای داغ خودداری کنید

ویژگی ها و ادغام های پیشرفته

83 kinesis Data Streams Fan-out:
– توان اختصاصی 2Mb/sec در هر مصرف کننده در هر اندازه
– از HTTP/2 برای تحویل مبتنی بر فشار استفاده می کند
– تأخیر پایین (70ms در مقابل 200ms+)

84 پارتیشن بندی پویا داده های کینزیس داده های کینز:
– داده های پارتیشن در S3 بر اساس محتوای ضبط
– پوشه های منطقی را بر اساس کلیدهای پارتیشن ایجاد می کند
– برای عملکرد پرس و جو بهینه می شود

85 اتصالات تجزیه و تحلیل داده های Kinesis:
– آپاچی کافکا
– آمازون MSK
– آمازون S3
– آمازون دینامودب

86 kinesis Video Streams Edge Agent:
– روی دستگاه های IoT اجرا کنید
– بافر و بارگذاری ویدیو هنگام ترمیم اتصال
– از سناریوهای اتصال متناوب پشتیبانی می کند

87 ادغام Lambda AWS:
– نقشه برداری منبع رویداد برای جریان داده ها
– تحول برای Firehose
– پردازش برای جریان های ویدیویی

88 ادغام چسب AWS:
– پخش مشاغل ETL می تواند از Kinesis به عنوان منبع استفاده کند
– پردازش و تبدیل داده های جریان
– بارگیری در دریاچه داده یا انبار داده

89 ادغام Sagemaker Amazon:
– استنباط ML در زمان واقعی در داده های جریان
– آموزش مدل در مورد داده های جریان تاریخی
– تشخیص ناهنجاری در جریان

90 ادغام Eventbridge Amazon:
– آیا می تواند رویدادها را به کینسیس برساند
– معماری های بدون رویداد سرور را قادر می سازد

مقایسه با سایر خدمات جریان AWS

الگوهای مصرف داده ها و خصوصیات توان

91 دسته ای در مقابل مصرف زمان واقعی:
– دسته: هزینه پایین ، تأخیر بالاتر
– زمان واقعی: هزینه بالاتر ، تأخیر کمتر

92 الگوهای توان:
– حالت پایدار: بار قابل پیش بینی و مداوم
– spiky: پشت سر هم غیرقابل پیش بینی ترافیک
– چرخه ای: قله ها و دره های قابل پیش بینی

93 دست زدن به فشار:
– بافر در SQS قبل از Kinesis
– اجرای فشار مشتری در سمت مشتری
– از دسته بندی تطبیقی ​​استفاده کنید

94 ویژگی های عامل Kinesis:
– قابلیت های پیش پردازش
– آزمایش مجدد خودکار با بازگشت
– ادغام نظارت بر CloudWatch

95 ملاحظات چند منطقه:
– جریان های مستقل در هر منطقه
– تکثیر منطقه ای از طریق لامبدا
– استراتژی های مسیریابی تولید کننده جهانی

قابلیت پخش مجدد خطوط لوله مصرف داده

96 استراتژی های پخش مجدد:
– برای پردازش کامل داده های خام را در S3 ذخیره کنید
– از دوره نگهداری Kinesis برای پخش کوتاه مدت استفاده کنید
– اجرای الگوهای منابع منابع رویداد

97 سناریوهای پخش مجدد:
– رفع اشکال در منطق پردازش
– بهبودی از خرابی های پایین دست
– تجزیه و تحلیل تاریخی با الگوریتم های جدید

98 اجرای قابلیت پخش مجدد:
– فروشگاه رویداد تغییر ناپذیر را حفظ کنید
– برنامه های پردازش نسخه
– از شناسه های گروه مصرف کننده برای انزوا استفاده کنید

99 چالش های پخش مجدد:
– رسیدگی به عوارض جانبی (idempotency)
– مدیریت سفارش پردازش
– متعادل کردن هزینه های ذخیره در مقابل نیازهای پخش مجدد

100. بهترین روشها را دوباره پخش کنید:
– قابلیت های پخش مجدد را به طور مرتب تست کنید
– رویه های پخش مجدد سند
– نظارت بر عملکرد و صحت پخش مجدد

نکات خاص امتحان

101 محدودیت های توان را به خاطر بسپارید: 1MB/SEC در ، 2MB/SEC در هر قسمت.

102 گزینه های دوره نگهداری را بدانید: 24 ساعت (پیش فرض) تا 365 روز.

103 تفاوت بین KPL و KCL را درک کنید: تولیدکننده در مقابل کتابخانه های مصرف کننده.

104 بدانید چه موقع از هر سرویس Kinesis استفاده کنید:
– جریان داده ها: مصرف خام و پردازش
– Firehose: بارگیری آسان به مقصد
– تجزیه و تحلیل داده ها: پردازش در زمان واقعی
– جریان های ویدئویی: مصرف و پردازش ویدیو

105 عملیات تغییر شکل را درک کنید: تقسیم ظرفیت را افزایش می دهد ، ادغام آن را کاهش می دهد.

106 گزینه های مصرف کننده را بدانید: SDK ، KCL ، Lambda ، Firehose.

107 تنظیمات بافر Firehose را به خاطر بسپارید: اندازه (1-128 مگابایت) و فاصله (60-900 ثانیه).

108 گزینه های رمزگذاری را بدانید: سمت سرور با KMS ، سمت مشتری ، TLS در ترانزیت.

109 معیارهای نظارت را درک کنید: سن تکرار ، توان بیش از حد ، نرخ موفقیت.

110 سناریوها و راه حل های خطای مشترک را بدانید: توان پیش بینی شده بیش از ، انقضاء تکرار شونده.

111 مدل هزینه را درک کنید: ساعت شارد ، مصرف داده ها ، احتباس ، افزایش فن.

112 نکات ادغام را بدانید: Lambda ، Glue ، Sagemaker ، S3 ، redshift.

113 تفاوت های بین Kinesis و سایر خدمات را درک کنید: MSK ، SQS ، Eventbridge.

114 گزینه های پخش مجدد را بدانید: trim_horizon ، آخرین ، at_timestamp ، at_equence_number.

115 حالت های ظرفیت را درک کنید: ارائه شده در مقابل تقاضا.

116 از مزایای پیشرفته فن خارج شوید: توان اختصاصی ، تأخیر کمتر.

117 فرکانس تحویل Firehose را درک کنید: اندازه یا فاصله بافر ، هر کدام از اول باشد.

118 گزینه های پردازش تجزیه و تحلیل داده ها را بشناسید: SQL در مقابل فلینک.

119 درک کنید جریان های ویدئویی از موارد استفاده می کنند: دوربین های امنیتی ، دوربین مدار بسته ، ادغام ML.

120 معماری های مشترک را بشناسید: تجزیه و تحلیل در زمان واقعی ، پردازش ورود به سیستم ، خطوط لوله داده IoT.