Trend Chat – انجمن DEV

این ارسالی برای چالش خراش وب داده‌های روشن: خلاقانه‌ترین استفاده از داده‌های وب برای مدل‌های هوش مصنوعی است.

Trend Chat: ردیابی، تجزیه و تحلیل و گپ با روندها از جوامع آنلاین طاقچه. بینش عملی را که توسط BrightData و هوش مصنوعی ارائه شده است، دریافت کنید.

چت روند ابزار قدرتمندی است که کاربران را قادر می سازد تا روندهای جوامع آنلاین مختلف را ردیابی، تجزیه و تحلیل و تعامل کنند. چه صاحب کسب‌وکار، بازاریاب یا علاقه‌مندی باشید که به دنبال این هستید که از منحنی‌ها جلوتر بمانید، Trend Chat بینش‌های بی‌درنگ درباره مکالماتی که برای صنعت شما مهم است، ارائه می‌کند.

با اعمال اهرم BrightData برای خراش دادن وب و هوش مصنوعی برای تجزیه و تحلیل مولد، Trend Chat به کاربران اجازه می دهد تا داده های مرتبط را جمع آوری کنند، آن ها را برای بینش های عملی تجزیه و تحلیل کنند، و با این روندها گپ بزنند تا تصمیمات آگاهانه بگیرند.

چیزی که من ساختم

چت روند برای حل مشکل اضافه بار اطلاعات در دنیای دیجیتال پرشتاب امروزی طراحی شده است. این به کاربران اجازه می‌دهد تا روندها را در جوامع آنلاین ویژه ردیابی کنند، داده‌ها را از وب‌سایت‌های مختلف جمع‌آوری کنند، آن داده‌ها را برای کشف بینش‌های کلیدی تجزیه و تحلیل کنند، و از طریق یک رابط چت ساده با آن بینش‌ها تعامل کنند.

ویژگی های کلیدی:

• خراش دادن وب: به طور خودکار داده ها را از وب سایت ها جمع آوری می کند Reddit، بر اساس درخواست های کاربر، اهرم BrightData Web Scraping Browser برای وب سایت های پویا بزرگ مانند reddit.
• تجزیه و تحلیل داده ها: تجزیه و تحلیل داده های خراشیده شده برای کشف الگوها، روندها، و بینش عملی بر اساس استخراج موجودیت نامگذاری شده برای اشتراکات در یک فصل
• رابط چت: با بینش‌های جمع‌آوری‌شده گپ بزنید، به کاربران اجازه می‌دهد سؤال بپرسند و بر اساس داده‌ها پاسخ دریافت کنند.
• بینش های مبتنی بر هوش مصنوعی: استفاده کنید مدل های هوش مصنوعی برای ایجاد تجزیه و تحلیل، توصیه ها و بینش در زمان واقعی از روندها.
• احراز هویت کاربر: ورود ایمن کاربران و دسترسی به داده ها از طریق احراز هویت Supabase.

با چت روند، کاربران می توانند به راحتی در صدر روندهای نوظهور باقی بمانند، فرصت های تجاری بالقوه را شناسایی کنند و با اطمینان تصمیمات مبتنی بر داده را اتخاذ کنند.

نسخه ی نمایشی

شما می توانید نسخه ی نمایشی زنده را کاوش کنید چت روند در:

نسخه نمایشی چت Trend

اسکرین شات ها:

1. نمایش بخش قهرمان:

   

2. نمای داشبورد:

   

3. رابط چت:

   

چگونه از داده های روشن استفاده کردم

Bright Data نقش مهمی در چت روند با ارائه زیرساخت خراش وب که جمع آوری داده ها را از Reddit. با استفاده از مرورگر Bright Scraping Data، من می توانم:

1. داده های زمان واقعی را جمع آوری کنید: Bright Data به من این امکان را می دهد که داده های Reddit را بر اساس ورودی های خاص کاربر خراش دهم و اطمینان حاصل کنم که داده ها همیشه به روز هستند.
2. دسترسی به داده های متنوع: بر اساس طیف وسیعی از موضوعات و کلمات کلیدی، محتوا را از subreddit ها، از جمله پست های انجمن، نظرات و مقالات حذف کنید.
3. Scraping را سفارشی کنید: انعطاف پذیری Bright Data به من این امکان را می دهد که فرآیند خراش دادن را متناسب با نیازهای خاص، مانند جمع آوری پست ها و بحث ها از زیرمجموعه های خاص مرتبط با روندهای نوظهور، تنظیم کنم.

این ادغام با Bright Data همان چیزی است که این امکان را فراهم می کند چت روند برای ارائه بینش های پویا و در زمان واقعی از جوامع آنلاین خاص.

کد نمونه برای خراش دادن داده های Reddit با استفاده از Bright Data API (Typescript)

// Function to generate the Reddit search URL based on the keyword
function generateRedditSearchUrl(keyword: string): string {
    const encodedKeyword = encodeURIComponent(keyword);
    return `https://www.reddit.com/search/?q=${encodedKeyword}`;
}

// Function to scrape Reddit posts based on a search URL
async function scrapeRedditPosts(searchUrl: string) {
    const browser = await puppeteer.connect({
        browserWSEndpoint: "puppeteer ndpoint from your scraping browser",
    });

    console.log("Connected to browser...");
    const page = await browser.newPage();
    await page.goto(searchUrl, { waitUntil: 'domcontentloaded' });
    console.log("Navigated to Reddit search page");

    await page.waitForSelector('div[data-testid="post-container"]', { timeout: 30000 });
    const posts = await extractPostData(page);

    await browser.close();

    return posts;
}

// Function to extract post data from the Reddit search results page
async function extractPostData(page: puppeteer.Page) {
    return await page.evaluate(() => {
        const postElements = document.querySelectorAll('div[data-testid="post-container"]');
        const posts = [];

        postElements.forEach((postElement: Element) => {
            const title = postElement.querySelector('h3')?.innerText;
            const author = postElement.querySelector('[data-testid="post_author_link"]')?.innerText;
            const upvotes = postElement.querySelector('[data-click-id="upvote"]')?.textContent;
            const comments = postElement.querySelector('[data-click-id="comments"]')?.textContent;

            posts.push({ title, author, upvotes, comments });
        });

        return posts;
    });
}

هوش مصنوعی برای استخراج موجودیت نامگذاری شده

برای استخراج اطلاعات ارزشمند از پست های خراشیده شده، چت روند استفاده می کند مدل های هوش مصنوعی طراحی شده توسط ترانسفورماتورها کتابخانه برای شناسایی نهاد نامگذاری شده (NER). این به ما امکان می دهد تا موجودیت های کلیدی مانند افراد، مکان ها، سازمان ها یا هر کلمه کلیدی مرتبط دیگری را از داده ها شناسایی و استخراج کنیم.

ما از یک از قبل آموزش دیده استفاده می کنیم مدل NER از کتابخانه Hugging Face Transformers برای تجزیه و تحلیل پست‌های Reddit و شناسایی نهادهایی مانند نام محصولات، موضوعات پرطرفدار و موارد دیگر.

کد نمونه برای شناسایی موجودیت نامگذاری شده (NER) با استفاده از ترانسفورماتورها (Typescript)

import { pipeline } from 'transformers';  // Importing the HuggingFace pipeline for NER

const nerModel = pipeline('ner', 'dbmdz/bert-large-cased-finetuned-conll03-english');  // Pre-trained NER model

const extractEntities = async (text: string) => {
  const entities = await nerModel(text);
  return entities;
};

const sampleText = "I love programming in Python and recently explored Next.js for building dynamic web apps!";
extractEntities(sampleText).then(entities => {
  console.log('Extracted Entities:', entities);
}).catch(error => console.error('Error extracting entities:', error));

موجودیت‌های استخراج‌شده را می‌توان برای یافتن گرایش‌ها یا بینش‌هایی مانند ذکر مکرر موضوعات خاص، نام‌های تجاری یا حتی فناوری‌های آتی بیشتر تجزیه و تحلیل کرد.

ترکیب این دو

async function main() {
    const prompt = "Tell me about recent discussions on code editors and their features, especially AI-powered editors";  // Example prompt

    // Step 1: Extract keywords
    const keywords = await extractEntities(prompt);
    console.log("Extracted Keywords: ", keywords);

    // Step 2: Search Reddit for the extracted keyword(s)
    for (const keyword of keywords) {
        const searchUrl = generateRedditSearchUrl(keyword);
        console.log(`Searching for "${keyword}" on Reddit...`);

        // Step 3: Scrape the posts for the keyword
        const posts = await scrapeRedditPosts(searchUrl);
        console.log(`Found ${posts.length} posts related to "${keyword}":`);
        console.log(posts);
    }
}

// Run the main function
main().catch(error => {
    console.error("Error running the pipeline:", error);
});

استخراج موجودیت نامگذاری شده برای پستها

import { pipeline } from '@huggingface/transformers';

// Example of Reddit post data (this would be scraped using BrightData)
const redditPosts = [
  "Tesla's stock price surged after the announcement of their new electric car model in Berlin.",
  "Apple released new MacBook Pro models with improved performance and battery life."
];

// Initialize the NER pipeline
async function performNamedEntityRecognition(posts: string[]) {
  try {
    // Use Hugging Face's NER pipeline with a pre-trained model
    const nlp = await pipeline('ner', 'dbmdz/bert-large-cased-finetuned-conll03-english');

    // Loop through each Reddit post and extract named entities
    const results = await Promise.all(
      posts.map(async (post) => {
        const entities = await nlp(post);
        return { post, entities };
      })
    );

    // Log the results
    results.forEach((result) => {
      console.log(`Post: ${result.post}`);
      console.log("Entities:", result.entities);
      console.log("-------------");
    });

  } catch (error) {
    console.error("Error during NER:", error);
  }
}

// Run NER on Reddit posts
performNamedEntityRecognition(redditPosts);

پشته فناوری

Frontend:

• Next.js: برای ایجاد یک نمای ظاهری پویا و پاسخگو برای نمایش بینش ها و تعامل با روندها استفاده می شود.
• واکنش نشان دهید: برای مدیریت اجزای رابط کاربری و مدیریت تعاملات کاربر در زمان واقعی استفاده شده است.
• Tailwind CSS: برای یک ظاهر طراحی سریع و پاسخگو استفاده می شود.

Backend:

• سوپا بیس: برای احراز هویت کاربر و ذخیره سازی پایگاه داده استفاده می شود. Supabase فرآیند مدیریت کاربران و ذخیره داده ها را ساده می کند.
• مدل‌های هوش مصنوعی (مدل‌های کتابخانه API و ترانسفورماتورهای Gemini): برای قابلیت های هوش مصنوعی مولد، کمک به تجزیه و تحلیل داده های خراشیده شده و ایجاد بینش یا توصیه هایی بر اساس روند استفاده می شود.
• تایپ اسکریپت: کل برنامه با استفاده از Typescript برای ایمنی نوع بهتر و قابلیت نگهداری کد ساخته شده است.

خراش دادن:

• BrightData Web Scraping API: با جمع‌آوری داده‌ها، فرآیند خراش دادن وب را تقویت می‌کند Reddit و سایر منابع آنلاین
• Reddit: پلتفرم اولیه برای پست‌ها، نظرات و بحث‌های پیرامون روندهای نوظهور خراشیده می‌شود.

احراز هویت:

• احراز هویت Supabase: ورود ایمن و مدیریت کاربر برای دسترسی احراز هویت شده به داده ها و اطلاعات جمع شده.

چگونه کار می کند

1. احراز هویت کاربر:

   کاربران از طریق احراز هویت Supabase. پس از احراز هویت، می‌توانند به ویژگی‌های پلتفرم، از جمله برداشتن داده‌ها و تحلیل روندها دسترسی داشته باشند.

2. خراش دادن داده ها:

   با استفاده از BrightData Web Scraping APITrend Chat داده ها را از Reddit بر اساس درخواست کاربر داده‌های خراش‌شده می‌تواند شامل پست‌ها، نظرات و بحث‌های زیرمجموعه‌های مختلف باشد.

3. ذخیره سازی و تجزیه و تحلیل داده ها:

   داده های خراشیده شده در آن ذخیره می شود سوپا بیس (با استفاده از پایگاه داده Supabase برای ذخیره سازی کارآمد)، امکان پرس و جو و تجزیه و تحلیل آن را فراهم می کند. مدل های هوش مصنوعی سپس برای تجزیه و تحلیل این داده‌ها، استخراج روندها، احساسات و بینش‌هایی که می‌توانند به کسب‌وکارها در تصمیم‌گیری مبتنی بر داده‌ها کمک کنند، استفاده می‌شوند.

4. چت با Insights:

   کاربران می توانند از طریق یک رابط چت با پلتفرم تعامل داشته باشند و در مورد داده های خراشیده شده سؤال بپرسند. این سیستم پاسخ‌های مبتنی بر هوش مصنوعی را با استفاده از Gemini API بر اساس داده‌های جمع‌آوری‌شده تولید می‌کند و به کاربران کمک می‌کند روندها و بینش‌ها را واضح‌تر درک کنند.

5. بینش ایجاد کنید:

   با استفاده از مدل های هوش مصنوعی، سیستم داده های جمع آوری شده را پردازش می کند، بینش هایی مانند تجزیه و تحلیل احساسات، روندهای کلمات کلیدی یا موضوعات مورد بحث را در یک subreddit ایجاد می کند. این بینش ها در قالبی قابل درک به کاربران ارائه می شود.

6. اقدام کنید:

   کاربران می توانند از بینش های ارائه شده برای تصمیم گیری آگاهانه استفاده کنند، چه برای توسعه محصول، استراتژی های بازاریابی، یا مشارکت جامعه. آنها می توانند روندهای جاری را ردیابی کنند یا با ادامه چت با سیستم، فرصت های جدیدی را کشف کنند.

چرا Trend Chat؟

در دنیای دیجیتال امروزی، درک و ردیابی روندها در جوامع مختلف می تواند دشوار و وقت گیر باشد. چت روند این فرآیند را با ارائه یک راه حل یک مرحله ای برای خراش دادن، تجزیه و تحلیل و تعامل با بینش های زمان واقعی ساده می کند.

• در جریان باشید: آخرین به روز رسانی ها را در مورد روندها در موضوعات مختلف دریافت کنید.
• تصمیمات داده محور بگیرید: از بینش های عملی برای اطلاع رسانی استراتژی های کسب و کار استفاده کنید.
• فرآیند ساده: فرآیند جمع آوری و تجزیه و تحلیل داده ها را به صورت خودکار انجام دهید و در زمان و تلاش شما صرفه جویی کنید.
• بینش قابل تنظیم: بینش ها را متناسب با نیازهای خاص و اهداف تجاری خود تنظیم کنید.

Trend Chat ابزاری عالی برای مشاغل، بازاریابان و علاقه مندانی است که به دنبال جلوتر بودن از رقبا و تصمیم گیری آگاهانه بر اساس داده های زمان واقعی هستند.

بهبودهای آینده

در اینجا چند ایده برای بهبود آتی Trend Chat وجود دارد:

1. منابع داده را گسترش دهید: برای گسترش انواع داده های موجود، منابع خراش دهنده و API های اضافی را ادغام کنید.
2. قابلیت های پیشرفته هوش مصنوعی: بهبود مدل هوش مصنوعی برای بینش های عمیق تر، مانند روندهای پیش بینی و پیش بینی احساسات.
3. اعلان های زمان واقعی: اعلان‌های فشاری را اضافه کنید تا به کاربران درباره روندهای نوظهور یا به‌روزرسانی‌های مهم هشدار دهید.
4. ادغام با رسانه های اجتماعی: به کاربران این امکان را می دهد که روندهای رسانه های اجتماعی را راحت تر بررسی و تجزیه و تحلیل کنند.

چرا من واجد شرایط برای اعتبارات بیشتر هستم

1. مجموعه داده های نوآورانه: پروژه من از تکنیک‌های خراش دادن پیشرفته برای جمع‌آوری پست‌های ردیت بلادرنگ استفاده می‌کند و رویکردی منحصربه‌فرد برای شناسایی و تجزیه و تحلیل گرایش‌ها برای بینش‌های بازاریابی را امکان‌پذیر می‌کند، که نیاز آشکار به استخراج داده‌های قابل اعتماد و کارآمد را نشان می‌دهد.

2. برنامه مقیاس پذیر: استفاده از خطوط لوله خودکار برای شناسایی نهادهای نامگذاری شده (NER) در حجم زیادی از پست های Reddit به طور مستقیم از مقیاس پذیری پروژه من پشتیبانی می کند و نیاز به منابع گسترده برای مدیریت مجموعه داده های در حال رشد را برجسته می کند.

3. تاثیر بر کسب و کارهای کوچک: پروژه من به کسب و کارهای کوچک کمک می کند تا بینش های ارزشمندی از بازار به دست آورند و در نهایت به تحول دیجیتال آنها کمک کند. این با مأموریت Bright Data برای حمایت از راه حل‌های نوآورانه و تاثیرگذار با دسترسی به داده‌های با کیفیت هماهنگ است.

نتیجه گیری

چت روند ترکیبی منحصر به فرد از اسکرپینگ وب، تجزیه و تحلیل داده ها، و بینش های مبتنی بر هوش مصنوعی را ارائه می دهد تا به کسب و کارها و افراد کمک کند تا در صدر روندهای نوظهور قرار بگیرند. با اعمال اهرم BrightData برای سوهان زدن و مدل های هوش مصنوعی برای اطلاعات بینش، Trend Chat اطلاعات عملی و در زمان واقعی را ارائه می دهد که به کاربران کمک می کند تا تصمیمات بهتر و مبتنی بر داده را بگیرند. خواه در حال پیگیری روندها، تجزیه و تحلیل مکالمات جامعه، یا ایجاد استراتژی های تجاری باشید، چت روند ابزاری است که برای جلوتر از منحنی به آن نیاز دارید.

با تشکر برای خواندن!

ممنون که بررسی کردید چت روند! امیدوارم این ابزار به شما کمک کند روندها را به طور مؤثرتری پیگیری، تجزیه و تحلیل و تعامل کنید.

پیوندها: