مدل های ترنسفورمری

طبقه بندی متون فارسی، به ویژه نثرهای ادبی کلاسیک که سرشار از ساختارهای زبانی پیچیده و لایه های معنایی عمیق هستند، یکی از چالش های کلیدی در پردازش زبان طبیعی[1]محسوب می شود. این پژوهش با هدف ارزیابی روش های مختلف یادگیری ماشین و مدل های زبانی گوناگون برای طبقه بندی موضوعی نثرهای ادبی فارسی انجام شده است. در این مطالعه افزون بر شیوه های رایج طبقه بندی (مانند استفاده از مدل های از پیش آموزش دیده مانندmBERT،ParsBERT  و  RoBERTa)، از رویکردهای نوآورانه ای نیز بهره گرفته شده است. این رویکردهای نوین شامل ترکیب تعبیه سازی[2]های دو مدل با هم یا استفاده از توکن های عددی استخراج شده از یک مدل برای طبقه بندی با مدل دیگر هستند که با هدف بهینه سازی عملکرد و تجزیه وتحلیل نتایج به کار رفته اند. همچنین، تکنیک های سنتی تعبیه سازی همچون TF-IDF، Bag of Words و FastText به کار گرفته شدند و برای ارزیابی عملکرد، بردارهای استخراج شده به مدل های متنوع طبقه بندی، ازجمله مدل های شبکه عصبی بازگشتی LSTM و GRU و همچنین مدل های طبقه بندی برداری (مانند SVM[3] ،Random Forest و Logistic Regression) ارائه شدند. نوآوری این پژوهش در ترکیب تعبیه های مدل های ترنسفورمری با یکدیگر و با بردارهای ویژگی دیگر یا طبقه بندی آن ها با مدل های طبقه بندی برداری است که نتایج به دست آمده، بهبود معنادار معیارهای صحت، بازخوانی و امتیاز F1 را نشان می دهد. این رویکرد، افزون بر بهبود طبقه بندی متون فارسی، امکان شناسایی الگوهای زبانی و معنایی در نثرهای کلاسیک فارسی را فراهم می کند. همچنین، این پژوهش می تواند نقش مدل های زبانی و الگوریتم های یادگیری ماشین را در مطالعات ادبی گسترش دهد و آن ها را با نیازهای خاص متون ادبی سازگارتر و ازنظر عملکرد، دقیق تر از روش های پیشین سازد. [1]. NLP [2]. Embedding [3]. Support Vector Machine