ساخت پیکره مقایسه‌ای تخصصی «پارسا»

نوع مقاله : مقاله پژوهشی

نویسندگان

1 استادیار پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک). تهران.ایران

2 پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک)، تهران، ایران

چکیده

پیکره ­ها براساس زبان به‌کاررفته در متن‌های تشکیل ­دهندة آن­ها به پیکره­های تک­ زبانه، دوزبانه و چندزبانه گروه‌بندی می­شوند. پیکرة مقایسه ­ای، پیکره­ای است دوزبانه یا چندزبانه که شامل متن‌هایی است مشابه در حوزه­های موضوعی یکسان. با وجود کاربرد فراوان این نوع پیکره‌ها در پژوهش‌های گوناگون همچون پژوهش­های زبانی، ترجمة ماشینی و سامانه‌های خودکار بازیابی اطلاعات بینازبانی، پژوهشگران همواره با کمبود پیکره‌های مقایسه­ ای مواجه بوده‌اند. در این مقاله، به معرفی مراحل ساخت یک پیکرة مقایسه‌ای تخصصی به نام «پارسا» پرداخته شده‌است. این پیکره از چکیده­های فارسی و انگلیسی پایان­ نامه ­ها و رساله ­های ثبت‌شده در پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک) ساخته شده‌است و شامل بیش از 89 میلیون واژه فارسی و 79 میلیون واژه انگلیسی است. محتوای این پیکره عمومی نیست و مشتمل بر متن‌های بسیار تخصصی در حوزه­های موضوعی کلان مانند علوم اجتماعی، علوم انسانی و هنر، فنی­ ومهندسی و رشته ­های مربوط به این حوزه­ها است و ازاین‌جنبه، برای پردازش­های زبانی که نیازمند بهره ­گرفتن از متن‌های تخصصی است، بسیار ارزشمند است. برای ساخت این پیکره، پس از نمونه ­گیری، داده­های فارسی وارد فرایند پیش ­پردازش (هنجارسازی و واحدسازی) شدند. برای ارزیابی این مرحله دقت (P)، فراخوان (R) و F1 سنجیده شد. دقت، 5614035088. 0، فراخوان،   0531561462. 0 و در پایان، F1 09711684370257966. 0 محاسبه شده‌است. سپس، داده­ها برچسب‌گذاری شدند (برچسب ­گذاری اجزای کلام) و برچسب­های متون فارسی کنترل شدند. داده­های انگلیسی نیز به‌صورت ماشینی برچسب‌گذاری شدند. شمار واژه‌های محتوایی (فعل، اسم، صفت، قید) داده­های فارسی این پیکره 57653813 و شمار واژه­های دستوری به‌همراه اعداد و علائم سجاوندی 31350125  است و بن­ واژه­های فارسی استخراج ­شده نیز شامل 41064 بن­ واژه است. شمار واژه­های محتوایی متون انگلیسی 45606686 و شمار واژه­های دستوری به‌همراه اعداد و علائم سجاوندی شامل 33662304 و بن‌واژه­های انگلیسی استخراج ­شده نیز شامل 12937 بن ­واژه است. پیکرۀ ساخته ‎شده قابلیت بسیار بالایی برای داده‌کاوی، پژوهش­های مربوط به ترجمه ماشینی و به‌کارگیری در تمام پژوهش‌هایی که بر روی متون علمی انجام می‌شود را دارا است.

کلیدواژه‌ها

عنوان مقاله [English]

Building a specialized comparable corpus: PARSA

نویسندگان [English]

  • Elham Alayiaboozar 1
  • Aliasghar Hojjatpanah 2
1 Assistant Professor, Iranian Research Institute for Information Science and Technology (IranDoc). Tehran.Iran
2 Iranian Research Institute for Information Science and Technology (IranDoc); Tehran. Iran
چکیده [English]

Based on the language used in their constituent texts, corpora are categorized as monolingual, bilingual, or multilingual. A comparable corpus is a bilingual or multilingual corpus that includes similar texts in the same subject areas. In other words, a comparable corpus is a collection of documents in two different languages ​​that cover similar topics. Comparable corpora can be composed of general texts, providing various possibilities for discourse analysis, pragmatics, analysis of text genres, and sociolinguistics. Examples of such corpora could include collections of encyclopedia entries, or literary texts from a certain period of time. However, the most common types of comparable corpora, which attract many audiences are those related to specialized fields and containing a high density of vocabulary and technical terms. Such a corpus is called a specialized comparable corpus. In this study, a specialized comparable corpus was built from the Persian and English abstracts of theses and dissertations registered in IranDoc. The corpus is named PARSA.

کلیدواژه‌ها [English]

  • specialized corpus
  • comparable corpus
  • normalization
  • tokenization
  • tagging

مراجع

  1. امرایی، علیرضا، اکبر حسابی و عباس اسلامی راسخ (1398). «طراحی پیکره و فرهنگ دوزبانة اصطلاحات راهنمایی­ و رانندگی بر پایة معناشناسی قالبی». مطالعات زبان و ترجمه. دوره 52. شماره 2. صص 97-65. https://doi.org/10.22067/lts.v52i2.80823/
  2. دشتبانی، شکوفه، محرم منصوری ­زاده و محمد نصیری (1393). «پیکرة متنی تطبیقی فارسی-انگلیسی حوزة تخصصی فاوا». پژوهش­های زبان­شناسی تطبیقی. سال 4. شماره 8. صص 141-121. Retrieved from <https://rjhll.basu.ac.ir/article_972.html>
  3. صادقی، علی ­اشرف (1370-1372). شیوه­ ها و امکانات واژه ­سازی در زبان فارسی معاصر (1-12). تهران:  نشر دانش. شمارة  64-80. <https://ensani.ir/fa/article/293365/> Retrieved from
  4. علایی، الهام، نصراله پاک­نیت، علی‌اصغر حجت ­پناه، مجتبی زالی و محمدهادی آقالویی آغمیونی ( 1400).  ساخت پیکرة متنی از مقاله‌های پژوهش­نامة پردازش و مدیریت اطلاعات. تهران: پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک). Retrieved from <https://irandoc.ac.ir/sites/fa/files/attach/research/559pf.pdf>
  5.   قطره، فریبا (1386). «مشخصه­ های تصریفی در زبان فارسی امروز». دستور. شماره 3. صص 52-81. Retrieved from <https://ensani.ir/fa/article/99232>
  6. قیومی، مسعود (1401). «پیش­پردازش و ابزارهای پایه». در پردازش و متن گفتار فارسی: مروری بر مبانی نظری و آخرین یافته­ های پژوهشی». به کوشش مهرنوش شمس ­فرد و محمود بی­ جن­ خان. تهران: سازمان مطالعه و تدوین کتب دانشگاهی در علوم اسلامی و انسانی (سمت). پژوهشکده تحقیق و توسعه علوم انسانی. صص 86-113. Retrieved from <https://samt.ac.ir/fa/book/6143>
  7. کشانی، خسرو (1371). اشتقاق پسوندی در زبان فارسی امروز. تهران: مرکز نشر دانشگاهی. Retrieved from <https://daneshnegar.com/fa/product/39614>
  8. کوهستانی، منوچهر (1389). بررسی خطاهای املایی و نگارشی در وبلاگ‌های فارسی و ماهیت زبان‌شناختی آن­ها. پایان‌نامة کارشناسی ارشد. دانشگاه تهران.
  9. لازار، ژیلبر (1389). دستور زبان فارسی معاصر. ترجمة مهستی بحرینی. چ 2. تهران: انتشارات هرمس. Retrieved from <https://www.hermespub.ir/product/>
  10. محمدی، علی محمد (1402). «رابطۀ بین عناصر گفتمانی در پیکره های موازی: مورد پژوهیِ ترجمة شفاهی همزمان». زبان‌پژوهی. دورة 15. شمارة 47. صص 262-293. https://doi.org/10.22051/jlr.2021.36750.2056
  11. محمدی، رویا (1391). ساخت پیکرۀ تطبیقی فارسی-انگلیسی و استخراج جملات موازی از آن. پایان ­نامۀ کارشناسی ارشد. دانشگاه الزهرا (س). Retrieved from <https://elmnet.ir/doc/10526832-12611>
  12.  Alayiaboozar, E., & Hojjatpanah, A (2022). Steps for creating two Persian specialized corpora. International Journal of Information Science and Management (IJISM), 20(4), 231-243. https://ijism.isc.ac/article_698428.html
  13. Alayiaboozar, E., Pakniat, N., Zali, M., & Aghalooyi Aghmiyooni,.M.H. (2021). Building a corpus from the published articles of Iranian Journal of Information Management and Processing. Iranian Research Institute for Information Science and Technology (Irandoc). https://irandoc.ac.ir/sites/fa/files/attach/research/559pf.pdf  [In Persian]
  14. Asghari, H., Khoshnava, Kh., Fatemi, O., & Faili, H. (2015, September 8-11). Developing bilingual plagiarism detection corpus using sentence aligned parallel corpus [Conference presentation]. Working Notes of CLEF 2015 - Conference and Labs of the Evaluation forum, Toulouse, France. https://ceur-ws.org/Vol-1391/148-CR.pdf
  15. Atkins, S. J. Clear., & Ostler, N. (1992). Corpus design criteria. Literary and Linguistic Computing, 7(1), 1-16. https://doi.org/10.1093/llc/7.1.1
  16. Beloso, B. S. (2015). Designing, describing and compiling a corpus of English for architecture. Procedia-social and behavioral sciences, 198, 459-464. https://doi.org/10.1016/j.sbspro.2015.07.466
  17. Bijankhan, M., Sheykhzadegan, J., Bahrani, M., & Ghayoomi, M. (2011). Lesson from building a Persian written corpus: Peykare. Language resources and evolution, 45(2), 143-164. https://doi.org/10.1007/s10579-010-9132-x
  18. Claude Toriida, M. (2016). Steps for creating specialized corpus and developing an annotated frequence-based vocabulary list. TESL Canada journal/ revue TESL du Canada, 34(11), 87-105. https://doi.org/10.18806/tesl.v34i1.1257
  19. Dashtbani, Sh., Mansoorizade, M., & Nasiri, M. (2014). English-Persian comparable textual corpus in FAVA domain. Comparative linguistic research, 4(8), 121-141. https://rjhll.basu.ac.ir/article_972.html [In Persian]
  20. Emrayi, A., Hesabi, A., & Eslami Rasekh, A. (2019). Designing corpus and bilingual traffic terms based on frame semantics. Language and translation studies, 52(2), 65-97. https://doi.org/10.22067/lts.v52i2.80823 [In Persian]
  21. Ghatre, F. (2007). Inflectional features in modern Persian. Dastoor, 3, 52-81. https://ensani.ir/fa/article/99232 [In Persian]
  22. Ghayoomi, M. (2022). Preprocessing and basic tools. In Shams Fard, M. & Bijan Khan, M. (Eds.), Text and speech processing for the Persian language: the state of art and a brief review of the theoretical foundations (pp. 86-113). SAMT. https://samt.ac.ir/fa/book/6143 [In Persian]
  23. Ghayoomi, M., Momtazi, S., & Bijankhan, M. (2010). A Study of Corpus Development for Persian. International Journal of Asian Language Processing, 20(1), 17-34. https://www.colips.org/journals/volume20/20.1.02-Masood-Ghayoomi.pdf
  24. Karimi, A., Ansari, E., & Sadeghi Bigham, B. (2017). Extracting an English-Persian parallel corpus from comparable corpora. (Project: Machin translation. Parallel sentence extraction from comparable corpora using statistical machine translation). Arxiv: 1711.00681v3 [cs.CL]. https://doi.org/10.48550/arXiv.1711.00681
  25. Kenning, M. M. (2010). What are parallel and comparable corpora and how can we use them. In O’Keeffe, A., McCarthy, M. (Eds.), The Routledge Handbook of Corpus Linguistics (pp. 487–500). Routledge. https://www.routledge.com/
  26. Keshani, Kh. (1992). Derivation suffix in modern Persian. Markaz Nashr Daneshgahi. https://daneshnegar.com/fa/product/39614 [In Persian]
  27. Kokabi, A., Nourian, A., Ghafourzadeh, E., Imani, M., Fallah, M., Mahdavi Mortazavi, M., Ghorbani, M., Ruhollah, R., Ebrahimi, M., Riasati, R., Khallash, M., Khosrotabar, M., Bashari, H., Mahdizade, M., Souri, Y., Kharazi, V… Qayyoomi, A.  (2023, October 5). Persian NLP Toolkit. github. https://github.com/roshan-research/hazm
  28. Koltunski, E. L. (2013). VARTRA: A comparable corpus for analysis of translation variation. In Sharoff, S., Zweigenbaum, P., &  Rapp, R. (Eds.), Proceedings of the 6th workshop on building and using comparable corpora. (pp. 77-86). Association for computational linguistics. https://www.researchgate.net/publication/
  29. Kouhestani, M. (2010). Studying written errors In Persian weblogs and their linguistic nature [Unpublished master’s thesis]. University of Tehran. [In Persian]
  30. Lazard, G. (2010). Persian Grammar. Hermes. https://www.hermespub.ir/product/ [In Persian]
  31. Mohammadi, A. M. (2023). A study of the relationship between discoursal elements in parallel corpora: a case study of simultaneous interpretation. ZABANPAZHUHI (journal of language research), 15(47), 236-262. https://doi.org/10.22051/jlr.2021.36750.2056 [In Persian]
  32. Mohammadi, R. (2012). Building Persian-English comparable corpus and extracting parallel sentences [Unpublished master’s thesis]. Alzahra University. https://elmnet.ir/doc/10526832-12611 [In Persian]
  33. Sadeghi, A. A. (1991-1993). Word formation methods In Persian. Danesh publication. https://ensani.ir/fa/article/293365/ [In Persian]
  34. Sinclair, J. (2004). Corpus and Text-Basic Principles. In Wynne, M. (Ed.), Developing Linguistic Corpora: A Guide to Good Practice (pp. 5-25). The Oxford Text Archive. https://users.ox.ac.uk/~martinw/dlc/chapter1.htm

فایل ها

هم رسانی

ارجاع به این مقاله

آمار