IWNLP Evaluation Results:

There have been multiple changes since the paper version:

20150407_c_lowercase: An error while constructing the lookup for Morphy has been corrected. In the paper version, only the first lemma for an entry in Morphy was used. Because more than one lemma might be listed for an entry in Morphy, this worsens the result the results of Morphy.
20150407_c_lowercase: Some tokens were excluded from the evaluation because they have no lemma in the corpora.
20151123_d: The lookup in Morphy is case-sensitive. If no case-sensitive match is found, we additionally lookup the lowercase form.
20151123_d: The lookup in IWNLP is now POS specific and defaults to other POS tags if no specific entry is available.
20151123_d: Some noun tokens were excluded from the evaluation because they have an ambiguous lemma.
20151123_d: The parser has been updated to the 2015 Wiktionary template changes.
20151123_d: IWNLP now also parses subjunctives.
20151123_d: IWNLP now supports {{Adjektivische Deklination}}
20151226_a: The 20151226 dump is a good example for our assumption 'We expect that the presented results for the lemmatization task will improve with every new monthly dump if Wiktionary continues to grow and improve through a community effort.'. In the case of the adjectives in the TüBa-D/Z corpus, the IWNLP results have improved by 2.2% within one month.
20161020_a: IWNLP now supports multiple new templates.
20170501: Included some smaller template changes into IWNLP.
20181001: Updated for new dump

Standalone results:

The delta in each cell is calculated with respect to 20150407_c_lowercase.

		20150407_a paper version	20150407_c_lowercase corrected version	20151123_d	20151226_a	20161020_a	20170501	20181001
IWNLP: Tiger	Nouns	0,734	0,738 +0,4 %	0,748 +1,0 %	0,749 +1,1 %	0,758 +2,0 %	0,763 +2,5 %	0,772 +3,4 %
	Verbs	0,837	0,837	0,897 +6,0 %	0,897 +6,0 %	0,917 +8,0 %	0,921 +8,4 %	0,931 +9,4 %
	Adjectives	0,633	0,636 +0,3 %	0,732 +9,6 %	0,751 +11,5 %	0,778 +14,2 %	0,775 +13,9 %	0,785 +14,9 %
IWNLP: TüBa-D/Z	Nouns	0,721	0,721	0,747 +2,6 %	0,747 +2,6 %	0,756 +3,5 %	0,761 +4,0 %	0,77 +4,9 %
	Verbs	0,809	0,81 +0,1 %	0,859 +4,9 %	0,86 +5,0 %	0,876 +6,6 %	0,879 +6,9 %	0,889 +7,9 %
	Adjectives	0,567	0,57 +0,3 %	0,662 +9,2 %	0,684 +11,4 %	0,71 +14,0 %	0,713 +14,3 %	0,721 +15,1 %
IWNLP: HDT	Nouns	0,607	0,607	0,627 +2,0 %	0,627 +2,0 %	0,63 +2,3 %	0,631 +2,4 %	0,634 +2,7 %
	Verbs	0,864	0,864	0,924 +6,0 %	0,925 +6,1 %	0,939 +7,5 %	0,943 +7,9 %	0,952 +8,8 %
	Adjectives	0,613	0,627 +1,4 %	0,708 +8,1 %	0,715 +8,8 %	0,72 +9,3 %	0,71 +8,3 %	0,71 +8,3 %
IWNLP + Keep: Tiger	Nouns	0,894	0,898 +0,4 %	0,902 +0,4 %	0,903 +0,5 %	0,906 +0,8 %	0,907 +0,9 %	0,909 +1,1 %
	Verbs	0,854	0,854	0,913 +5,9 %	0,913 +5,9 %	0,932 +7,8 %	0,935 +8,1 %	0,942 +8,8 %
	Adjectives	0,692	0,696 +0,4 %	0,772 +7,6 %	0,792 +9,6 %	0,818 +12,2 %	0,814 +11,8 %	0,825 +12,9 %
IWNLP + Keep: TüBa-D/Z	Nouns	0,897	0,897	0,918 +2,1 %	0,919 +2,2 %	0,921 +2,4 %	0,923 +2,6 %	0,925 +2,8 %
	Verbs	0,827	0,827	0,876 +4,9 %	0,877 +5,0 %	0,891 +6,4 %	0,895 +6,8 %	0,901 +7,4 %
	Adjectives	0,650	0,653 +0,3 %	0,718 +6,5 %	0,74 +8,7 %	0,764 +11,1 %	0,766 +11,3 %	0,777 +12,4 %
IWNLP + Keep: HDT	Nouns	0,647	0,647	0,665 +1,8 %	0,665 +1,8 %	0,666 +1,9 %	0,666 +1,9 %	0,666 +1,9 %
	Verbs	0,882	0,882	0,942 +6,0 %	0,943 +6,1 %	0,955 +7,3 %	0,958 +7,6 %	0,964 +8,2 %
	Adjectives	0,699	0,714 +1,5 %	0,775 +6,1 %	0,779 +6,5 %	0,78 +6,6 %	0,768 +5,4 %	0,769 +5,5 %
Morphy: Tiger	Nouns	0,196	0,196	0,196	0,196	0,196	0,196	0,196
	Verbs	0,713	0,685 -2,8 %	0,692 +0,7 %	0,692 +0,7 %	0,692 +0,7 %	0,692 +0,7 %	0,692 +0,7 %
	Adjectives	0,531	0,521 -1,0 %	0,541 +2,0 %	0,541 +2,0 %	0,541 +2,0 %	0,541 +2,0 %	0,541 +2,0 %
Morphy: TüBa-D/Z	Nouns	0,181	0,182 +0,1 %	0,185 +0,3 %	0,185 +0,3 %	0,185 +0,3 %	0,185 +0,3 %	0,185 +0,3 %
	Verbs	0,671	0,648 -2,3 %	0,656 +0,8 %	0,656 +0,8 %	0,656 +0,8 %	0,656 +0,8 %	0,656 +0,8 %
	Adjectives	0,490	0,478 -1,2 %	0,497 +1,9 %	0,497 +1,9 %	0,497 +1,9 %	0,497 +1,9 %	0,497 +1,9 %
Morphy: HDT	Nouns	0,163	0,162 -0,1 %	0,166 +0,4 %	0,166 +0,4 %	0,166 +0,4 %	0,166 +0,4 %	0,166 +0,4 %
	Verbs	0,675	0,651 -2,4 %	0,657 +0,6 %	0,657 +0,6 %	0,657 +0,6 %	0,657 +0,6 %	0,657 +0,6 %
	Adjectives	0,475	0,442 -3,3 %	0,461 +1,9 %	0,461 +1,9 %	0,461 +1,9 %	0,461 +1,9 %	0,461 +1,9 %
Morphy + Keep: Tiger	Nouns	0,857	0,858 +0,1 %	0,858	0,858	0,858	0,858	0,858
	Verbs	0,962	0,934 -2,8 %	0,941 +0,7 %	0,941 +0,7 %	0,941 +0,7 %	0,941 +0,7 %	0,941 +0,7 %
	Adjectives	0,763	0,752 -1,1 %	0,773 +2,1 %	0,773 +2,1 %	0,773 +2,1 %	0,773 +2,1 %	0,773 +2,1 %
Morphy + Keep: Tüba-D/Z	Nouns	0,860	0,861 +0,1 %	0,873 +1,2 %	0,873 +1,2 %	0,873 +1,2 %	0,873 +1,2 %	0,873 +1,2 %
	Verbs	0,916	0,893 -2,3 %	0,901 +0,8 %	0,901 +0,8 %	0,901 +0,8 %	0,901 +0,8 %	0,901 +0,8 %
	Adjectives	0,744	0,733 -1,1 %	0,753 +2,0 %	0,753 +2,0 %	0,753 +2,0 %	0,753 +2,0 %	0,753 +2,0 %
Morphy + Keep: HDT	Nouns	0,619	0,618 -0,1 %	0,634 +1,6 %	0,634 +1,6 %	0,634 +1,6 %	0,634 +1,6 %	0,634 +1,6 %
	Verbs	0,963	0,939 -2,4 %	0,945 +0,6 %	0,945 +0,6 %	0,945 +0,6 %	0,945 +0,6 %	0,945 +0,6 %
	Adjectives	0,735	0,707 -2,8 %	0,724 +1,7 %	0,724 +1,7 %	0,724 +1,7 %	0,724 +1,7 %	0,724 +1,7 %

Existing software:

		20150407_a paper version	20150407_c_lowercase corrected version	20151123_d	20151226_a	20161020_a	20170501	20181001
Mate Tools: Tiger	Nouns	--	--	--	--	--	--	--
	Verbs	--	--	--	--	--	--	--
	Adjectives	--	--	--	--	--	--	--
Mate Tools: TüBa-D/Z	Nouns	0,926	0,938 +1,2 %	0,952 +1,4 %	0,952 +1,4 %	0,952 +1,4 %	0,952 +1,4 %	NaN
	Verbs	0,927	0,928 +0,1 %	0,928	0,928	0,928	0,928	NaN
	Adjectives	0,852	0,86 +0,8 %	0,86	0,86	0,86	0,86	NaN
Mate Tools: HDT	Nouns	0,639	0,645 +0,6 %	0,662 +1,7 %	0,662 +1,7 %	0,662 +1,7 %	0,662 +1,7 %	0,662 +1,7 %
	Verbs	0,971	0,971	0,971	0,971	0,971	0,971	0,971
	Adjectives	0,712	0,733 +2,1 %	0,733	0,733	0,733	0,733	0,733
TreeTagger - Tiger	Nouns	0,860	0,875 +1,5 %	0,875	0,875	0,875	0,875	0,875
	Verbs	0,974	0,974	0,974	0,974	0,974	0,974	0,974
	Adjectives	0,867	0,868 +0,1 %	0,868	0,868	0,868	0,868	0,868
TreeTagger - TüBa-D/Z	Nouns	0,848	0,853 +0,5 %	0,865 +1,2 %	0,865 +1,2 %	0,865 +1,2 %	0,865 +1,2 %	0,865 +1,2 %
	Verbs	0,930	0,931 +0,1 %	0,931	0,931	0,931	0,931	0,931
	Adjectives	0,832	0,833 +0,1 %	0,833	0,833	0,833	0,833	0,833
TreeTagger - HDT	Nouns	0,611	0,612 +0,1 %	0,628 +1,6 %	0,628 +1,6 %	0,628 +1,6 %	0,628 +1,6 %	0,628 +1,6 %
	Verbs	0,977	0,977	0,977	0,977	0,977	0,977	0,977
	Adjectives	0,687	0,701 +1,4 %	0,701	0,701	0,701	0,701	0,701

Improving existing software:

		20150407_a paper version	20150407_c_lowercase corrected version	20151123_d	20151226_a	20161020_a	20170501	20181001
IWNLP + Mate Tools: Tiger	Nouns	--	--	--	--	--	--	--
	Verbs	--	--	--	--	--	--	--
	Adjectives	--	--	--	--	--	--	--
IWNLP + Mate Tools: TüBa-D/Z	Nouns	0,943	0,951 +0,8 %	0,968 +1,7 %	0,968 +1,7 %	0,969 +1,8 %	0,969 +1,8 %	NaN
	Verbs	0,929	0,93 +0,1 %	0,943 +1,3 %	0,943 +1,3 %	0,944 +1,4 %	0,944 +1,4 %	NaN
	Adjectives	0,841	0,852 +1,1 %	0,861 +0,9 %	0,865 +1,3 %	0,864 +1,2 %	0,864 +1,2 %	NaN
IWNLP + Mate Tools: HDT	Nouns	0,653	0,656 +0,3 %	0,674 +1,8 %	0,674 +1,8 %	0,674 +1,8 %	0,674 +1,8 %	0,674 +1,8 %
	Verbs	0,976	0,976	0,991 +1,5 %	0,991 +1,5 %	0,991 +1,5 %	0,992 +1,6 %	0,992 +1,6 %
	Adjectives	0,751	0,774 +2,3 %	0,778 +0,4 %	0,779 +0,5 %	0,768 -0,6 %	0,768 -0,6 %	0,767 -0,7 %
Morphy + Mate Tools: Tiger	Nouns	--	--	--	--	--	--	--
	Verbs	--	--	--	--	--	--	--
	Adjectives	--	--	--	--	--	--	--
Morphy + Mate Tools: TüBa-D/Z	Nouns	0,918	0,933 +1,5 %	0,947 +1,4 %	0,947 +1,4 %	0,947 +1,4 %	0,947 +1,4 %	NaN
	Verbs	0,932	0,933 +0,1 %	0,935 +0,2 %	0,935 +0,2 %	0,935 +0,2 %	0,935 +0,2 %	NaN
	Adjectives	0,837	0,865 +2,8 %	0,866 +0,1 %	0,866 +0,1 %	0,866 +0,1 %	0,866 +0,1 %	NaN
Morphy + Mate Tools	Nouns	0,627	0,637 +1,0 %	0,654 +1,7 %	0,654 +1,7 %	0,654 +1,7 %	0,654 +1,7 %	0,654 +1,7 %
	Verbs	0,974	0,974	0,975 +0,1 %	0,975 +0,1 %	0,975 +0,1 %	0,975 +0,1 %	0,975 +0,1 %
	Adjectives	0,744	0,74 -0,4 %	0,743 +0,3 %	0,743 +0,3 %	0,743 +0,3 %	0,743 +0,3 %	0,743 +0,3 %
IWNLP + TreeTagger: Tiger	Nouns	0,888	0,903 +1,5 %	0,904 +0,1 %	0,904 +0,1 %	0,905 +0,2 %	0,905 +0,2 %	0,906 +0,3 %
	Verbs	0,969	0,97 +0,1 %	0,987 +1,7 %	0,987 +1,7 %	0,987 +1,7 %	0,988 +1,8 %	0,988 +1,8 %
	Adjectives	0,869	0,873 +0,4 %	0,902 +2,9 %	0,906 +3,3 %	0,906 +3,3 %	0,905 +3,2 %	0,905 +3,2 %
IWNLP + TreeTagger: TüBa-D/Z	Nouns	0,879	0,883 +0,4 %	0,899 +1,6 %	0,899 +1,6 %	0,899 +1,6 %	0,9 +1,7 %	0,901 +1,8 %
	Verbs	0,927	0,928 +0,1 %	0,945 +1,7 %	0,945 +1,7 %	0,946 +1,8 %	0,946 +1,8 %	0,946 +1,8 %
	Adjectives	0,795	0,799 +0,4 %	0,823 +2,4 %	0,828 +2,9 %	0,838 +3,9 %	0,838 +3,9 %	0,845 +4,6 %
IWNLP + TreeTagger: HDT	Nouns	0,641	0,641	0,659 +1,8 %	0,659 +1,8 %	0,659 +1,8 %	0,659 +1,8 %	0,659 +1,8 %
	Verbs	0,973	0,973	0,99 +1,7 %	0,99 +1,7 %	0,99 +1,7 %	0,99 +1,7 %	0,99 +1,7 %
	Adjectives	0,724	0,741 +1,7 %	0,771 +3,0 %	0,771 +3,0 %	0,762 +2,1 %	0,761 +2,0 %	0,76 +1,9 %
Morphy + TreeTagger: Tiger	Nouns	0,859	0,874 +1,5 %	0,874	0,874	0,874	0,874	0,874
	Verbs	0,970	0,968 -0,2 %	0,975 +0,7 %	0,975 +0,7 %	0,975 +0,7 %	0,975 +0,7 %	0,975 +0,7 %
	Adjectives	0,810	0,834 +2,4 %	0,847 +1,3 %	0,847 +1,3 %	0,847 +1,3 %	0,847 +1,3 %	0,847 +1,3 %
Morphy + TreeTagger: TüBa-D/Z	Nouns	0,843	0,853 +1,0 %	0,865 +1,2 %	0,865 +1,2 %	0,865 +1,2 %	0,865 +1,2 %	0,865 +1,2 %
	Verbs	0,926	0,925 -0,1 %	0,933 +0,8 %	0,933 +0,8 %	0,933 +0,8 %	0,933 +0,8 %	0,933 +0,8 %
	Adjectives	0,787	0,809 +2,2 %	0,819 +1,0 %	0,819 +1,0 %	0,819 +1,0 %	0,819 +1,0 %	0,819 +1,0 %
Morphy + TreeTagger: HDT	Nouns	0,602	0,608 +0,6 %	0,624 +1,6 %	0,624 +1,6 %	0,624 +1,6 %	0,624 +1,6 %	0,624 +1,6 %
	Verbs	0,968	0,967 -0,1 %	0,972 +0,5 %	0,972 +0,5 %	0,972 +0,5 %	0,972 +0,5 %	0,972 +0,5 %
	Adjectives	0,713	0,701 -1,2 %	0,716 +1,5 %	0,716 +1,5 %	0,716 +1,5 %	0,716 +1,5 %	0,716 +1,5 %