Precision and Recall

فهرست عناوین اصلی در این پاورپوینت

فهرست عناوین اصلی در این پاورپوینت

● Performance Evaluation
of Information Retrieval Systems
● Why System Evaluation?
● Difficulties in Evaluating IR Systems
● Human Labeled Corpora
(Gold Standard)
● Precision and Recall
● Determining Recall is Difficult
● Trade-off between Recall and Precision
● Computing Recall/Precision Points
● Computing Recall/Precision Points:
Example 1
● Computing Recall/Precision Points:
Example 2
● Interpolating a Recall/Precision Curve
● Interpolating a Recall/Precision Curve: Example 1
● Interpolating a Recall/Precision Curve:
Example 2
● Average Recall/Precision Curve
● Compare Two or More Systems
● Sample RP Curve for CF Corpus
● R- Precision
● F-Measure
● E Measure (parameterized F Measure)
● Mean Average Precision
(MAP)
● Non-Binary Relevance
● Cumulative Gain
● Discounting Based on Position
● Normalized Discounted
Cumulative Gain (NDCG)
● Normalized Discounted
Cumulative Gain (NDCG)
● Issues with Relevance
● Other Factors to Consider
● A/B Testing in a Deployed System
● Experimental Setup for Benchmarking
● Benchmarks
● Benchmarking  The Problems
● Early Test Collections
● The TREC Benchmark
● TREC Tasks
● Characteristics of the TREC Collection
● Sample Document (with SGML)
● Sample Query (with SGML)
● Evaluation
● Cystic Fibrosis (CF) Collection
● CF Document Fields
● Sample CF Document
● Sample CF Queries
● Preprocessing for VSR Experiments

نوع زبان: انگلیسی حجم: 1.42 مگا بایت
نوع فایل: اسلاید پاورپوینت تعداد اسلایدها: 45 صفحه
سطح مطلب: نامشخص پسوند فایل: ppt
گروه موضوعی: زمان استخراج مطلب: 2019/06/07 12:38:11

لینک دانلود رایگان لینک دانلود کمکی

اسلایدهای پاورپوینت مرتبط در پایین صفحه

عبارات مهم استفاده شده در این مطلب

عبارات مهم استفاده شده در این مطلب

., precision, recall, relevant, document, r, x, query, rank, p, ۱, relevance, user,

توجه: این مطلب در تاریخ 2019/06/07 12:38:11 به صورت خودکار از فضای وب آشکار توسط موتور جستجوی پاورپوینت جمع آوری شده است و در صورت اعلام عدم رضایت تهیه کننده ی آن، طبق قوانین سایت از روی وب گاه حذف خواهد شد. این مطلب از وب سایت زیر استخراج شده است و مسئولیت انتشار آن با منبع اصلی است.

https://www.cs.utexas.edu/~mooney/ir-course/slides/Evaluation.ppt

در صورتی که محتوای فایل ارائه شده با عنوان مطلب سازگار نبود یا مطلب مذکور خلاف قوانین کشور بود لطفا در بخش دیدگاه (در پایین صفحه) به ما اطلاع دهید تا بعد از بررسی در کوتاه ترین زمان نسبت به حدف با اصلاح آن اقدام نماییم. جهت جستجوی پاورپوینت های بیشتر بر روی اینجا کلیک کنید.

عبارات پرتکرار و مهم در این اسلاید عبارتند از: ., precision, recall, relevant, document, r, x, query, rank, p, ۱, relevance, user,

مشاهده محتوای متنیِ این اسلاید ppt

مشاهده محتوای متنیِ این اسلاید ppt

performance evaluation of information retrieval systems many slides in this section are adapted from prof. joydeep ghosh ut ece who in turn adapted them from prof. dik lee univ. of science and tech hong kong why system evaluation there are many retrieval models algorithms systems which one is the best what is the best component for ranking function dot product cosine … term selection stopword removal stemming… term weighting tf tf idf … how far down the ranked list will a user need to look to find some all relevant documents difficulties in evaluating ir systems effectiveness is related to the relevancy of retrieved items. relevancy is not typically binary but continuous. even if relevancy is binary it can be a difficult judgment to make. relevancy from a human standpoint is subjective depends upon a specific user’s judgment. situational relates to user’s current needs. cognitive depends on human perception and behavior. dynamic changes over time. human labeled corpora gold standard start with a corpus of documents. collect a set of queries for this corpus. have one or more human experts exhaustively label the relevant documents for each query. typically assumes binary relevance judgments. requires considerable human effort for large document query corpora. precision and recall precision and recall precision the ability to retrieve top ranked documents that are mostly relevant. recall the ability of the search to find all of the relevant items in the corpus. determining recall is difficult total number of relevant items is sometimes not available sample across the database and perform relevance judgment on these items. apply different retrieval algorithms to the same database for the same query. the aggregate of relevant items is taken as the total relevant set. trade off between recall and precision ۱ ۱ recall precision computing recall precision points for a given query produce the ranked list of retrievals. adjusting a threshold on this ranked list produces different sets of retrieved documents and therefore different recall precision measures. mark each document in the ranked list that is relevant according to the gold standard. compute a recall precision pair for each position in the ranked list that contains a relevant document. r ۳ ۶ .۵ p ۳ ۴ .۷۵ computing recall precision points example ۱ let total of relevant docs ۶ check each new recall point r ۱ ۶ .۱۶۷ p ۱ ۱ ۱ r ۲ ۶ .۳۳۳ p ۲ ۲ ۱ r ۵ ۶ .۸۳۳ p ۵ ۱۳ .۳۸ r ۴ ۶ .۶۶۷ p ۴ ۶ .۶۶۷ missing one relevant document. never reach ۱ recall sheet۱ n doc relevant ۱ ۵۸۸ x ۲ ۵۸۹ x ۳ ۵۷۶ ۴ ۵۹ x ۵ ۹۸۶ ۶ ۵۹۲ x ۷ ۹۸۴ ۸ ۹۸۸ ۹ ۵۷۸ ۱ ۹۸۵ ۱۱ ۱ ۳ ۱۲ ۵۹۱ ۱۳ ۷۷۲ x ۱۴ ۹۹ r ۳ ۶ .۵ p ۳ ۵ .۶ computing recall precision points example ۲ let total of relevant docs ۶ check each new recall point r ۱ ۶ .۱۶۷ p ۱ ۱ ۱ r ۲ ۶ .۳۳۳ p ۲ ۳ .۶۶۷ r ۶ ۶ ۱. p ۶ ۱۴ .۴۲۹ r ۴ ۶ .۶۶۷ p ۴ ۸ .۵ r ۵ ۶ .۸۳۳ p ۵ ۹ .۵۵۶ sheet۱ n doc relevant ۱ ۵۸۸ x ۲ ۵۷۶ ۳ ۵۸۹ x ۴ ۳۴۲ ۵ ۵۹ x ۶ ۷۱۷ ۷ ۹۸۴ ۸ ۷۷۲ x ۹ ۳۲۱ x ۱ ۴۹۸ ۱۱ ۱۱۳ ۱۲ ۶۲۸ ۱۳ ۷۷۲ ۱۴ ۵۹۲ x interpolating a recall precision curve interpolate a precision value for each standard recall level rj  . .۱ .۲ .۳ .۴ .۵ .۶ .۷ .۸ .۹ ۱. r . r۱ .۱ … r۱ ۱. the interpolated precision at the j th standard recall level is the maximum known precision at any recall level between the j th and j ۱ th level interpolating a recall precision curve example ۱ .۴ .۸ .۲ ۱. .۶ recall precision interpolating a recall precision curve example ۲ .۴ .۸ .۲ ۱. .۶ recall precision average recall precision curve typically average performance over a large set of queries. compute average precision at each standard recall level across all queries. plot average precision recall curves to evaluate overall system performance on a document query corpus. compare two or more systems the curve closest to the upper right hand corner of the graph indicates the best performance sample rp curve for cf corpus r precision precision at the r th position in the ranking of results for a query that has r relevant documents. r of relevant docs ۶ r precision ۴ ۶ .۶۷ sheet۱ n doc relevant ۱ ۵۸۸ x ۲ ۵۸۹ x ۳ ۵۷۶ ۴ ۵۹ x ۵ ۹۸۶ ۶ ۵۹۲ x ۷ ۹۸۴ ۸ ۹۸۸ ۹ ۵۷۸ ۱ ۹۸۵ ۱۱ ۱ ۳ ۱۲ ۵۹۱ ۱۳ ۷۷۲ x ۱۴ ۹۹ f measure one measure of performance that takes into account both recall and precision. harmonic mean of recall and precision compared to arithmetic mean both need to be high for harmonic mean to be high. e measure parameterized f measure a variant of f measure that allows weighting emphasis on precision over recall value of  controls trade off  ۱ equally weight precision and recall e f .  ۱ weight recall more.  ۱ weight precision more. mean average precision map average precision average of the precision values at the points at which each relevant document is retrieved. ex۱ ۱ ۱ .۷۵ .۶۶۷ .۳۸ ۶ .۶۳۳ ex۲ ۱ .۶۶۷ .۶ .۵ .۵۵۶ .۴۲۹ ۶ .۶۲۵ mean average precision average of the average precision value for a set of queries. non binary relevance documents are rarely entirely relevant or non relevant to a query many sources of graded relevance judgments relevance judgments on a ۵ point scale multiple judges click distribution and deviation from expected levels but click through relevance judgments cumulative gain with graded relevance judgments we can compute the gain at each rank. cumulative gain at rank n where reli is the graded relevance of the document at position i sheet۱ n doc relevance gain cgn ۱ ۵۸۸ ۱. ۱. ۲ ۵۸۹ .۶ ۱.۶ ۳ ۵۷۶ . ۱.۶ ۴ ۵۹ .۸ ۲.۴ ۵ ۹۸۶ . ۲.۴ ۶ ۵۹۲ ۱. ۳.۴ ۷ ۹۸۴ . ۳.۴ ۸ ۹۸۸ . ۳.۴ ۹ ۵۷۸ . ۳.۴ ۱ ۹۸۵ . ۳.۴ ۱۱ ۱ ۳ . ۳.۴ ۱۲ ۵۹۱ . ۳.۴ ۱۳ ۷۷۲ .۲ ۳.۶ ۱۴ ۹۹ . ۳.۶ discounting based on position users care more about high ranked documents so we discount results by ۱ log۲ rank discounted cumulative gain normalized discounted cumulative gain ndcg to compare dcgs normalize values so that a ideal ranking would have a normalized dcg of ۱. ideal ranking normalized discounted cumulative gain ndcg normalize by dcg of the ideal ranking ndcg ≤ ۱ at all ranks ndcg is comparable across different queries issues with relevance marginal relevance do later documents in the ranking add new information beyond what is already given in higher documents. choice of retrieved set should encourage diversity and novelty. coverage ratio the proportion of relevant items retrieved out of the total relevant documents known to a user prior to the search. relevant when the user wants to locate documents which they have seen before e.g. the budget report for year ۲ . other factors to consider user effort work required from the user in formulating queries conducting the search and screening the output. response time time interval between receipt of a user query and the presentation of system responses. form of presentation influence of search output format on the user’s ability to utilize the retrieved materials. collection coverage extent to which any all relevant items are included in the document corpus. a b testing in a deployed system can exploit an existing user base to provide useful feedback. randomly send a small fraction …

کلمات کلیدی پرکاربرد در این اسلاید پاورپوینت: ., precision, recall, relevant, document, r, x, query, rank, p, ۱, relevance, user,

این فایل پاورپوینت شامل 45 اسلاید و به زبان انگلیسی و حجم آن 1.42 مگا بایت است. نوع قالب فایل ppt بوده که با این لینک قابل دانلود است. این مطلب برگرفته از سایت زیر است و مسئولیت انتشار آن با منبع اصلی می باشد که در تاریخ 2019/06/07 12:38:11 استخراج شده است.

https://www.cs.utexas.edu/~mooney/ir-course/slides/Evaluation.ppt

  • جهت آموزش های پاورپوینت بر روی اینجا کلیک کنید.
  • جهت دانلود رایگان قالب های حرفه ای پاورپوینت بر روی اینجا کلیک کنید.

رفتن به مشاهده اسلاید در بالای صفحه


پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *