6 تکنیک پیشرفته پایتون برای پردازش و تجزیه و تحلیل متن کارآمد

به عنوان یک نویسنده پرفروش، از شما دعوت می کنم کتاب های من را در آمازون جستجو کنید. فراموش نکنید که من را در Medium دنبال کنید و حمایت خود را نشان دهید. متشکرم حمایت شما یعنی دنیا!

به‌عنوان یک توسعه‌دهنده پایتون با سال‌ها تجربه در پردازش و تحلیل متن، دریافته‌ام که تسلط بر تکنیک‌های کارآمد می‌تواند عملکرد و اثربخشی پروژه‌های پردازش زبان طبیعی را به‌طور قابل‌توجهی بهبود بخشد. در این مقاله، شش تکنیک پیشرفته پایتون را که به طور گسترده برای پردازش و تحلیل متن کارآمد استفاده کرده‌ام، به اشتراک می‌گذارم.

عبارات منظم و ماژول مجدد

عبارات منظم ابزار قدرتمندی برای تطبیق الگو و دستکاری متن هستند. ماژول re Python مجموعه ای جامع از توابع را برای کار با عبارات منظم ارائه می دهد. من متوجه شده ام که تسلط بر regex می تواند به طور چشمگیری وظایف پیچیده پردازش متن را ساده کند.

یکی از رایج ترین کاربردهای regex برای تطبیق و استخراج الگو است. در اینجا مثالی از نحوه استخراج آدرس ایمیل از متن آورده شده است:

import re

text = "Contact us at info@example.com or support@example.com"
email_pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
emails = re.findall(email_pattern, text)
print(emails)

این کد خروجی خواهد داشت: [‘info@example.com’, ‘support@example.com’]

یکی دیگر از ویژگی های قدرتمند regex جایگزینی متن است. در اینجا نحوه جایگزینی تمام رخدادهای یک الگو در یک رشته آمده است:

text = "The price is $10.99"
new_text = re.sub(r'\$(\d+\.\d{2})', lambda m: f"€{float(m.group(1))*0.85:.2f}", text)
print(new_text)

این کد قیمت دلار را به یورو تبدیل می کند و خروجی می دهد: “قیمت 9.34 یورو است”

ماژول رشته و ابزارهای آن

در حالی که کمتر از ماژول re شناخته شده است، ماژول رشته پایتون مجموعه ای از ثابت ها و توابع کاربردی را ارائه می دهد که می تواند برای پردازش متن بسیار مفید باشد. من اغلب از آن برای کارهایی مانند ایجاد جداول ترجمه یا کار با ثابت های رشته ای استفاده می کنم.

در اینجا مثالی از استفاده از ماژول رشته برای ایجاد جدول ترجمه برای حذف علائم نگارشی آمده است:

import string

text = "Hello, World! How are you?"
translator = str.maketrans("", "", string.punctuation)
cleaned_text = text.translate(translator)
print(cleaned_text)

این کد خروجی می دهد: “سلام دنیا چطوری”

ماژول رشته همچنین ثابت هایی مانند string.ascii_letters و string.digits را ارائه می دهد که می تواند برای کارهای مختلف پردازش متن مفید باشد.

ماژول difflib برای مقایسه توالی

هنگام کار با متن، اغلب نیاز به مقایسه رشته ها یا یافتن شباهت دارم. ماژول difflib پایتون برای این کارها عالی است. ابزارهایی برای مقایسه دنباله ها از جمله رشته ها فراهم می کند.

در اینجا مثالی از استفاده از difflib برای یافتن کلمات مشابه آورده شده است:

from difflib import get_close_matches

words = ["python", "programming", "code", "developer"]
similar = get_close_matches("pythonic", words, n=1, cutoff=0.6)
print(similar)

خروجی این کد: [‘python’]

کلاس SequenceMatcher در difflib به ویژه برای مقایسه های پیچیده تر مفید است:

from difflib import SequenceMatcher

def similarity(a, b):
    return SequenceMatcher(None, a, b).ratio()

print(similarity("python", "pyhton"))

این کد یک امتیاز شباهت در حدود 0.83 خروجی می دهد.

فاصله لونشتاین برای تطبیق فازی

اگرچه بخشی از کتابخانه استاندارد پایتون نیست، اما الگوریتم فاصله Levenshtein برای بسیاری از وظایف پردازش متن، به ویژه برای بررسی املا و تطبیق فازی، حیاتی است. من اغلب برای این منظور از کتابخانه python-Levenshtein استفاده می کنم.

در اینجا نمونه ای از استفاده از فاصله Levenshtein برای بررسی املا آورده شده است:

import Levenshtein

def spell_check(word, dictionary):
    return min(dictionary, key=lambda x: Levenshtein.distance(word, x))

dictionary = ["python", "programming", "code", "developer"]
print(spell_check("progamming", dictionary))

این کد خروجی می دهد: “برنامه نویسی”

فاصله Levenshtein همچنین برای یافتن رشته های مشابه در یک مجموعه داده بزرگ مفید است:

def find_similar(word, words, max_distance=2):
    return [w for w in words if Levenshtein.distance(word, w) <= max_distance]

words = ["python", "programming", "code", "developer", "coder"]
print(find_similar("code", words))

خروجی این کد: [‘code’, ‘coder’]

کتابخانه ftfy برای رفع کدگذاری متن

هنگام کار با داده های متنی از منابع مختلف، اغلب با مشکلات رمزگذاری مواجه می شوم. کتابخانه ftfy (متن را برای شما رفع می کند) در این مواقع نجات دهنده بوده است. به طور خودکار مشکلات رایج رمزگذاری را شناسایی و رفع می کند.

در اینجا نمونه ای از استفاده از ftfy برای رفع اشکال mojibake (متن رمزگشایی نادرست) آمده است:

import ftfy

text = "The Mona Lisa doesn’t have eyebrows."
fixed_text = ftfy.fix_text(text)
print(fixed_text)

این کد خروجی می دهد: “مونالیزا ابرو ندارد.”

ftfy همچنین برای عادی سازی متن یونیکد عالی است:

weird_text = "Ｔｈｉｓ ｉｓ Ｆｕｌｌｗｉｄｔｈ ｔｅｘｔ"
normal_text = ftfy.fix_text(weird_text)
print(normal_text)

این کد خروجی می دهد: “This is Fullwidth text”

توکن سازی کارآمد با spaCy و NLTK

Tokenization یک گام اساسی در بسیاری از وظایف NLP است. در حالی که عملیات split() ساده می‌تواند برای وظایف اساسی کار کند، توکن‌سازی پیشرفته‌تر اغلب لازم است. من هر دو spaCy و NLTK را برای این منظور عالی یافتم.

در اینجا نمونه ای از توکن سازی با استفاده از spaCy آورده شده است:

import spacy

nlp = spacy.load("en_core_web_sm")
text = "The quick brown fox jumps over the lazy dog."
doc = nlp(text)
tokens = [token.text for token in doc]
print(tokens)

خروجی این کد: [‘The’, ‘quick’, ‘brown’, ‘fox’, ‘jumps’, ‘over’, ‘the’, ‘lazy’, ‘dog’, ‘.’]

NLTK توکن سازهای مختلفی را برای اهداف مختلف ارائه می دهد. در اینجا یک مثال با استفاده از تابع word_tokenize آورده شده است:

import nltk
nltk.download('punkt')

from nltk.tokenize import word_tokenize

text = "The quick brown fox jumps over the lazy dog."
tokens = word_tokenize(text)
print(tokens)

این کد نتیجه ای مشابه با مثال spaCy را خروجی می دهد.

هر دو کتابخانه گزینه‌های توکن‌سازی پیشرفته‌تری را ارائه می‌کنند، مانند نشانه‌سازی جملات یا توکن‌سازی بر اساس زبان‌ها یا دامنه‌های خاص.

کاربردهای عملی

این تکنیک ها پایه و اساس بسیاری از کاربردهای عملی در پردازش و تحلیل متن را تشکیل می دهند. من از آنها به طور گسترده در پروژه های مختلف استفاده کرده ام، از جمله:

طبقه بندی متن: استفاده از نشانه گذاری و عبارات منظم برای پیش پردازش داده های متنی، سپس استفاده از الگوریتم های یادگیری ماشین برای کارهای طبقه بندی.

تجزیه و تحلیل احساسات: ترکیب نشانه گذاری کارآمد با رویکردهای مبتنی بر واژگان یا مدل های یادگیری ماشین برای تعیین احساس متن.

بازیابی اطلاعات: استفاده از تطبیق فازی و فاصله Levenshtein برای بهبود عملکرد جستجو در سیستم های بازیابی اسناد.

در اینجا یک مثال ساده از تحلیل احساسات با استفاده از تحلیلگر احساسات VADER NLTK آورده شده است:

import nltk
nltk.download('vader_lexicon')

from nltk.sentiment import SentimentIntensityAnalyzer

def analyze_sentiment(text):
    sia = SentimentIntensityAnalyzer()
    return sia.polarity_scores(text)

text = "I love Python! It's such a versatile and powerful language."
sentiment = analyze_sentiment(text)
print(sentiment)

این کد یک فرهنگ لغت با امتیازات احساسی را خروجی می دهد، که معمولاً یک احساس مثبت را برای این متن نشان می دهد.

بهترین روش ها برای بهینه سازی خطوط لوله پردازش متن

هنگام کار با داده های متنی در مقیاس بزرگ، کارایی بسیار مهم می شود. در اینجا برخی از بهترین شیوه هایی که یاد گرفته ام آورده شده است:

1. از ژنراتورها برای پردازش حافظه کارآمد فایل های بزرگ استفاده کنید:

def process_large_file(filename):
    with open(filename, 'r') as file:
        for line in file:
            yield line.strip()

for line in process_large_file('large_text_file.txt'):
    # Process each line
    pass

1. اهرم پردازش چندگانه برای وظایف محدود به CPU:

from multiprocessing import Pool

def process_text(text):
    # Some CPU-intensive text processing
    return processed_text

if __name__ == '__main__':
    with Pool() as p:
        results = p.map(process_text, large_text_list)

1. از ساختارهای داده مناسب استفاده کنید. به عنوان مثال، مجموعه هایی برای تست عضویت سریع:

stopwords = set(['the', 'a', 'an', 'in', 'of', 'on'])

def remove_stopwords(text):
    return ' '.join([word for word in text.split() if word.lower() not in stopwords])

1. هنگام استفاده مکرر از عبارات منظم کامپایل کنید:

import re

email_pattern = re.compile(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b')

def find_emails(text):
    return email_pattern.findall(text)

1. از کتابخانه های مناسب برای کارهای خاص استفاده کنید. به عنوان مثال، از پانداها برای پردازش CSV استفاده کنید:

import pandas as pd

df = pd.read_csv('large_text_data.csv')
processed_df = df['text_column'].apply(process_text)

با به کارگیری این تکنیک ها و بهترین شیوه ها، توانستم کارایی و اثربخشی وظایف پردازش متن را به میزان قابل توجهی بهبود بخشم. چه بر روی اسکریپت های کوچک یا پروژه های NLP در مقیاس بزرگ کار می کنید، این تکنیک های پایتون پایه محکمی برای پردازش و تجزیه و تحلیل متن کارآمد فراهم می کند.

به یاد داشته باشید، کلید تسلط بر این تکنیک ها تمرین و آزمایش است. من شما را تشویق می کنم که آنها را روی پروژه ها و داده های خود امتحان کنید. احتمالاً راه‌های جدیدی برای ترکیب و به کارگیری این روش‌ها برای حل چالش‌های پیچیده پردازش متن کشف خواهید کرد.

101 کتاب

101 کتاب یک شرکت انتشاراتی مبتنی بر هوش مصنوعی است که توسط نویسنده تأسیس شده است آراو جوشی. با استفاده از فناوری پیشرفته هوش مصنوعی، هزینه‌های انتشارات خود را بسیار پایین نگه می‌داریم—بعضی کتاب‌ها قیمت پایینی دارند. 4 دلار– در دسترس قرار دادن دانش با کیفیت برای همه.

کتاب ما را بررسی کنید کد پاک گلانگ در آمازون موجود است.

منتظر به روز رسانی ها و اخبار هیجان انگیز باشید. هنگام خرید کتاب، جستجو کنید آراو جوشی برای یافتن عناوین بیشتر ما برای لذت بردن از لینک ارائه شده استفاده کنید تخفیف های ویژه!

مخلوقات ما

حتماً خلاقیت های ما را بررسی کنید:

مرکز سرمایه گذار | سرمایه گذار اسپانیایی مرکزی | سرمایه گذار آلمان مرکزی | زندگی هوشمند | دوره ها و پژواک ها | اسرار گیج کننده | هندوتوا | | مدارس JS

ما در حالت متوسط ​​هستیم

بینش کوآلای فنی | دوران و پژواک جهان | سرمایه گذار مرکزی متوسط | رازهای گیج کننده رسانه | رسانه علم و عصر | هندوتوای مدرن