ترجمه طلایی ارزیابی روش­های SVD و NMF برای آنالیز پنهان مفهومی

ارزیابی روش­های SVD و NMF برای آنالیز پنهان مفهومی

چکیده

تکنیک­های ریاضیاتی مختلفی به منظور کاهش ابعاد داده­ها در مجموعه داده­های بزرگ، برای بازیابی مناسب اطلاعات موردنیاز ایجاد می­شوند. آنالیز پنهان مفهومی (LSA)، شکل تقریب اصلاح شده­ی مدل فضای برداری با رتبه کم است که می­توان از آن برای شناسایی روابط مفهومی بسیار مهم در مجموعه نوشتارهای متنی استفاده کرد. LSA یک تقریب با رتبه کم را بر روی ماتریس جمله-سند انجام می­دهد، که با تبدیل داده­های متنی به یک نمایش برداری ایجاد می­شود، و در نتیجه­ ارتباط معنایی موجود میان اسناد مجموعه نوشتارهای متنی را بیان می­کند. تجزیه­ی مقادیر تکین (SVD) یک روش تقریب متعارف است که برای LSA استفاده می­شود، که در آن مولفه­ها با ابعاد کمتر حاصل از تجزیه کوتاه می­شوند. در کوتاه­سازی، نویز زبانی موجود در نمایش برداری حذف می­شود، و ارتباط مفهومی قابل مشاهده می­شود. یکی از مشکلات استفاده از SVD این است که ماتریس کوتاه شده دارای مولفه­های منفی خواهد بود، که برای بیان نمایش متنی عادی نیست. فاکتورگیری نامنفی ماتریس (NMF) با ایجاد بیان مبتنی بر بخش­های نامنفی به عنوان تقریب رتبه کم برای انجام LSA به این مساله می­پردازد. این مقاله بررسی جامعی در مورد نحوه استفاده از  هر دو روش به منظور بازیابی اطلاعات انجام می­دهد. ارزیابی عملکرد این روش­ها با استفاده از مجموعه داده­های آزمایشی  استاندارد انجام شده است.

Evaluation of SVD and NMF Methods for Latent Semantic Analysis
Rakesh Peter, Shivapratap G, Divya G, Soman KP
Amrita University/CEN, Coimbatore, India
Email: {p_rakesh, g_shivapratap, g_divya, kp_soman}@ettimadai.amrita.edu

Abstract -Different mathematical techniques are being developed to reduce the dimensionality of data within large datasets, for robust retrieval of required information. Latent Semantic Analysis (LSA), a modified low rank approximation form of Vector Space Model, can be used for detecting underlying semantic relationships within text corpora. LSA performs a low-rank approximation on term-document matrix, which is generated by transforming textual data into a vector representation, thereby bringing out the semantic connectedness present among the documents of the corpus. Singular Value Decomposition (SVD) is the traditional approximation method used for LSA, wherein lower dimensional components from the decomposition are truncated. On truncation, the linguistic noise present in the vector representation is removed, and the semantic connectedness is made visible. One of the pitfalls of using SVD is that the truncated matrix will have negative components, which is not natural for interpreting the textual representation. Nonnegative Matrix Factorization (NMF) addresses this issue by generating non-negative parts-based representation as the low rank approximation for performing LSA. The paper provides an in-depth overview of how both methods are being used for the purpose of Information Retrieval. Performance evaluation of the methods has been performed using standard test datasets.

1. مقدمه

VSM بر این واقعیت تکیه دارد که می­توان معنای سند را از جملات تشکیل دهنده­ی سند بدست آورد. VSM بر روی تبدیل مجموعه نوشتارهای متنی به یک ماتریس سند-جمله کار می­کند،