chatbot (در اصل Chatterbot)[1] یک برنامه نرم افزاری یا رابط وب است که به منظور مکالمه متنی یا گفتاری طراحی شده است.[2][3][4] Chatbots مدرن به طور معمول آنلاین است و از سیستم های هوش مصنوعی تولیدی استفاده می کند که قادر به گفتگو با کاربر به زبان طبیعی و شبیه سازی نحوه رفتار یک انسان به عنوان یک شریک مکالمه هستند. چنین چت بابات ها اغلب از یادگیری عمیق و پردازش زبان طبیعی استفاده می کنند ، اما چت های ساده تر برای چندین دهه وجود داشته اند.
اگرچه چت بابات از اواخر دهه 1960 وجود داشته است ، اما این زمینه در اوایل دهه 2020 به دلیل محبوبیت چته Openai ، مورد توجه گسترده ای قرار گرفت.[5][6] به دنبال گزینه های دیگری مانند Copilot Microsoft ، Deepseek و Gemini Google.[7] چنین مثالهایی منعکس کننده عمل اخیر در زمینه پایه گذاری این محصولات بر روی مدلهای بزرگ زبان بزرگ ، مانند GPT-4 یا مدل زبان Gemini است که به خوبی تنظیم می شوند تا وظایف یا برنامه های خاص را هدف قرار دهند (یعنی شبیه سازی مکالمه انسانی ، در مورد چت بابات). Chatbots همچنین می تواند برای هدف قرار دادن موقعیت های خاص حتی خاص تر و/یا دامنه های خاص موضوع طراحی یا سفارشی شود.
منطقه اصلی که از مدتهاست که از چت بابات استفاده می شود در خدمات و پشتیبانی مشتری است ، با انواع مختلفی از دستیاران مجازی.
برت به طور همزمان در دو کار از قبل آموزش دیده بود.[10]
Masked Language Model (MLM): In this task, BERT randomly masks some words in a sentence and tries to predict the original words that were masked. For example, in the sentence "The cat sat on the [MASK]," BERT would need to predict "mat." This helps BERT learn bidirectional context, meaning it understands the relationships between words not just from left to right or right to left but from both directions at the same time.
Next Sentence Prediction (NSP): In this task, BERT is trained to predict whether one sentence logically follows another. For example, given two sentences, "The cat sat on the mat." and "It was a sunny day," BERT has to decide if the second sentence is a valid continuation of the first one. This helps BERT understand relationships between sentences, which is important for tasks like question answering or document classification.
