ساخت پیکره مقایسه ای تخصصی «پارسا» (مقاله علمی وزارت علوم)
درجه علمی: نشریه علمی (وزارت علوم)
آرشیو
چکیده
پیکره ها براساس زبان به کاررفته در متن های تشکیل دهنده آن ها به پیکره های تک زبانه، دوزبانه و چندزبانه گروه بندی می شوند. پیکره مقایسه ای، پیکره ای است دوزبانه یا چندزبانه که شامل متن هایی است مشابه در حوزه های موضوعی یکسان. با وجود کاربرد فراوان این نوع پیکره ها در پژوهش های گوناگون همچون پژوهش های زبانی، ترجمه ماشینی و سامانه های خودکار بازیابی اطلاعات بینازبانی، پژوهشگران همواره با کمبود پیکره های مقایسه ای مواجه بوده اند. در این مقاله، به معرفی مراحل ساخت یک پیکره مقایسه ای تخصصی به نام «پارسا» پرداخته شده است. این پیکره از چکیده های فارسی و انگلیسی پایان نامه ها و رساله های ثبت شده در پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک) ساخته شده است و شامل بیش از 89 میلیون واژه فارسی و 79 میلیون واژه انگلیسی است. محتوای این پیکره عمومی نیست و مشتمل بر متن های بسیار تخصصی در حوزه های موضوعی کلان مانند علوم اجتماعی، علوم انسانی و هنر، فنی ومهندسی و رشته های مربوط به این حوزه ها است و ازاین جنبه، برای پردازش های زبانی که نیازمند بهره گرفتن از متن های تخصصی است، بسیار ارزشمند است. برای ساخت این پیکره، پس از نمونه گیری، داده های فارسی وارد فرایند پیش پردازش (هنجارسازی و واحدسازی) شدند. برای ارزیابی این مرحله دقت (P)، فراخوان (R) و F1 سنجیده شد. دقت، 5614035088. 0، فراخوان، 0531561462. 0 و در پایان، F1 09711684370257966. 0 محاسبه شده است. سپس، داده ها برچسب گذاری شدند (برچسب گذاری اجزای کلام) و برچسب های متون فارسی کنترل شدند. داده های انگلیسی نیز به صورت ماشینی برچسب گذاری شدند. شمار واژه های محتوایی (فعل، اسم، صفت، قید) داده های فارسی این پیکره 57653813 و شمار واژه های دستوری به همراه اعداد و علائم سجاوندی 31350125 است و بن واژه های فارسی استخراج شده نیز شامل 41064 بن واژه است. شمار واژه های محتوایی متون انگلیسی 45606686 و شمار واژه های دستوری به همراه اعداد و علائم سجاوندی شامل 33662304 و بن واژه های انگلیسی استخراج شده نیز شامل 12937 بن واژه است. پیکره ساخته شده قابلیت بسیار بالایی برای داده کاوی، پژوهش های مربوط به ترجمه ماشینی و به کارگیری در تمام پژوهش هایی که بر روی متون علمی انجام می شود را دارا است.Building a specialized comparable corpus: PARSA
Based on the language used in their constituent texts, corpora are categorized as monolingual, bilingual, or multilingual. A comparable corpus is a bilingual or multilingual corpus that includes similar texts in the same subject areas. In other words, a comparable corpus is a collection of documents in two different languages that cover similar topics. Comparable corpora can be composed of general texts, providing various possibilities for discourse analysis, pragmatics, analysis of text genres, and sociolinguistics. Examples of such corpora could include collections of encyclopedia entries, or literary texts from a certain period of time. However, the most common types of comparable corpora, which attract many audiences are those related to specialized fields and containing a high density of vocabulary and technical terms. Such a corpus is called a specialized comparable corpus. In this study, a specialized comparable corpus was built from the Persian and English abstracts of theses and dissertations registered in IranDoc. The corpus is named PARSA.
تبلیغات
