میخوای وارد بازار کار بشی و محصولات خودت رو بفرشی همین الان ثبت نام کن
0

معرفی بهترین کتابخانه های پردازش متن

NLTK, SpaCy

امروزه با توسعه ی اطلاعات و همچنین افزایش روز افزون داده ها مدیریت و پردازش آنها جزو موارد اجتناب ناپذیر پردازش و مدیریت دیتا است.

NLP:Natural Language Processing

حوزه‌ای تخصصی در علوم رایانه و هوش مصنوعی محسوب می‌شود که ریشه در زبانشناسی محاسباتی دارد.

در کل طراحی و ساخت چنین سیستم هایی است که امکان ارتباط و تعامل بین ماشین ها و زبان های طبیعی یا همان زبان انسان را فراهم سازند.

یکی از فیلدهای پردازش زبان طبیعی پردازش متن است. که در این مورد کتابخانه ها و الگوریتم های بسیار مهم و مفیدی بخصوص در زبان پایتون موجود است.

۱٫NLTK: Natural Language ToolKit

https://www.nltk.org/api/nltk.html

این کتابخانه یکی از جامع ترین و میشه گفت قدیمی ترین کتابخانه های پردازش زبان طبیعی در پایتون است. این کتابخانه پایه و استانداردی برای کتابخانه های پردازش متن محسوب می شود همچنین در موارد پژوهشی کاربرد های فراوانی دارد.یکی از ویژگی هایی محبوب این کتابخانه اتصال به متون مختلف است.

۱٫نصب و راه اندازی :

Install nltk Library

۲٫نحوه اضافه کردن کتابخانه و دانلود پکیج های آن

import and Download Packages

۲٫SpaCy

کتابخانه SpaCy با زبان پایتون:

https://cython.org

https://spacy.io/api

(قبل از هرچیزی باید بگم که این کتابخانه سایت فوق العاده ای داره و بصورت کامل کتابخانه و Processing Pipline رو توضیح میده.)

این کتابخانه برای متن کاوی تهیه شده و همچنین در کامپایل بر رو Cython با سرعت بالا مشهور است.(Cython یک کامپایلر بهینه شده استاتیک است که قابلیت ترکیب زبان c با پایتون را میدهد) منابع و سایت ها در اختیارتون هستن میتونید استفاده کنید.

کتابخانه ها و موارد مهم دیگری نیز هستند ولی بخاطر طولانی نشدن مطلب همینجا مطلب رو تمام میکنم.

در هفته های آینده بیشتر و مفصل تر در این مورد مطالبی خواهیم داشت.

ارسال دیدگاه

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

×

سلام کاربر عزیز

هر سوالی دارید در این بخش هستیم تا شما رو راهنمائی کنیم

روی لوگومون کلیک کنید

× چطور میتونم کمکتون کنم؟