الگوی خط لوله: ساده سازی پردازش داده ها در معماری نرم افزار

پردازش و تبدیل داده های کارآمد اجزای حیاتی سیستم های نرم افزاری معاصر هستند. یک طرح معماری موثر برای مدیریت تعدادی از تبدیل داده ها به شیوه ای مرتب، مدولار و قابل گسترش، الگوی خط لوله است. ما الگوی Pipeline، مزایا و کاربردهای واقعی آن را در این مقاله وبلاگ با تمرکز بر Node.js و TypeScript بررسی خواهیم کرد.

⁉️ الگوی خط لوله چیست؟

الگوی خط لوله پردازش داده ها را به ترتیبی از مراحل گسسته سازماندهی می کند. هر مرحله داده‌ها را تبدیل می‌کند و آن‌ها را به مرحله بعدی منتقل می‌کند و یک جریان ساده از عملیات ایجاد می‌کند. این رویکرد به ویژه برای کارهایی مانند:

→ اعتبار سنجی و غنی سازی داده ها.
← تحولات پیچیده.
→ پردازش جریان رویداد.

😍 مزایای الگوی خط لوله

مدولاریت: هر مرحله در خط لوله کپسوله شده است و آزمایش و نگهداری آن را آسان تر می کند.

قابلیت استفاده مجدد: مراحل خط لوله را می توان در خطوط لوله یا برنامه های مختلف مورد استفاده مجدد قرار داد.

مقیاس پذیری: پردازش را می توان در سیستم ها یا هسته ها برای بهبود عملکرد توزیع کرد.

توسعه پذیری: مراحل جدید را می توان بدون ایجاد اختلال در ساختار خط لوله موجود اضافه کرد.

👨‍🔬 پیاده سازی الگوی خط لوله در Node.js با TypeScript

بیایید یک مثال ساده ایجاد کنیم که آرایه ای از داده های کاربر را از طریق خط لوله پردازش می کند.

مورد استفاده: با تبدیل نام ها به حروف بزرگ، اعتبارسنجی فرمت های ایمیل و غنی سازی داده ها با مهر زمانی، داده های کاربر را عادی کنید.

interface User {
  name: string;
  email: string;
  timestamp?: string;
}

type PipelineStage = (input: User) => User;

// Stage 1: Convert names to uppercase
const toUpperCaseStage: PipelineStage = (user) => {
  return { ...user, name: user.name.toUpperCase() };
};

// Stage 2: Validate email format
const validateEmailStage: PipelineStage = (user) => {
  const emailRegex = /^[^\s@]+@[^\s@]+\.[^\s@]+$/;
  if (!emailRegex.test(user.email)) {
    throw new Error(`Invalid email format: ${user.email}`);
  }
  return user;
};

// Stage 3: Enrich data with timestamp
const enrichDataStage: PipelineStage = (user) => {
  return { ...user, timestamp: new Date().toISOString() };
};

// Pipeline runner
const runPipeline = (user: User, stages: PipelineStage[]): User => {
  return stages.reduce((currentData, stage) => stage(currentData), user);
};

// Example usage
const userData: User = { name: "John Doe", email: "john.doe@example.com" };
const stages: PipelineStage[] = [toUpperCaseStage, validateEmailStage, enrichDataStage];

try {
  const processedUser = runPipeline(userData, stages);
  console.log(processedUser);
} catch (error) {
  console.error(error.message);
}

مورد استفاده: خطوط لوله ناهمزمان

در بسیاری از سناریوهای دنیای واقعی، هر مرحله ممکن است شامل عملیات ناهمزمان، مانند فراخوانی های API یا کوئری های پایگاه داده باشد. الگوی خط لوله از مراحل ناهمزمان با تغییرات جزئی پشتیبانی می کند.

// Asynchronous stage type
type AsyncPipelineStage = (input: User) => Promise<User>;

// Example: Asynchronous data enrichment
const asyncEnrichDataStage: AsyncPipelineStage = async (user) => {
  // Simulate an API call
  await new Promise((resolve) => setTimeout(resolve, 100));
  return { ...user, enriched: true };
};

// Asynchronous pipeline runner
const runAsyncPipeline = async (user: User, stages: AsyncPipelineStage[]): Promise<User> => {
  for (const stage of stages) {
    user = await stage(user);
  }
  return user;
};

// Example usage
(async () => {
  const asyncStages: AsyncPipelineStage[] = [
    asyncEnrichDataStage,
    async (user) => ({ ...user, processed: true }),
  ];

  const result = await runAsyncPipeline(userData, asyncStages);
  console.log(result);
})();

📝 زمان استفاده از الگوی خط لوله

را Pipeline Pattern ایده آل است برای:

1️⃣ خطوط لوله پردازش داده: عملیات ETL (Extract, Transform, Load).

2️⃣ زنجیره‌های میان‌افزار: پردازش درخواست/پاسخ HTTP.

3️⃣ پردازش جریان: مدیریت رویداد یا پیام در زمان واقعی.

4️⃣ پردازش تصویر یا ویدئو: اعمال چند تبدیل به ترتیب.

نتیجه گیری

یکی از مفیدترین و موثرترین ابزارها در جعبه ابزار توسعه دهندگان، Pipeline Pattern است. این به جریان های کاری پیچیده شفافیت، قابلیت نگهداری و گسترش می دهد. استفاده از این الگو می تواند طراحی اپلیکیشن شما را تا حد زیادی بهبود بخشد، صرف نظر از اینکه با کارهای همزمان یا ناهمزمان سر و کار دارید.