The CORE project

The work reported here was carried out within the Computer-based methods for coreference resolution in Polish texts (PL: Komputerowe metody identyfikacji nawiązań w tekstach polskich) project financed by the Polish National Science Centre (contract number 6505/B/T02/2011/40) and carried out between April 2011 and July 2014 at the Institute of Computer Science, Polish Academy of Sciences. It was targeted at the creation of innovative methods and tools for automated coreference resolution in Polish, with planned quality compared to state-of-the-art tools available for other languages.

Project results

Publications

1. Ogrodniczuk (ed.) – Coreference: Annotation, Resolution and Evaluation in Polish

   • BibTeX

2. Ogrodniczuk, Wójcicka, Głowińska, Kopeć – Nested Mention Detection for Polish Coreference Resolution (PolTAL 2014 conference paper)

3. Zawisławska, Ogrodniczuk – The same or just much the same? Problems with coreference from the reader’s perspective

(book chapter; see also BibTeX )

• DAARC 2011: Ogrodniczuk, Kopeć – Rule-based coreference resolution module for Polish (zob. też plakat)

• LTC 2011: Ogrodniczuk, Kopeć – End-to-end coreference resolution baseline system for Polish (zob. też prezentację)

• KES-AMSTA 2011: Dunin-Kęplicz, Szałas – Epistemic Profiles and Belief Structures

• LREC 2012: Kopeć, Ogrodniczuk – Creating a Coreference Resolution System for Polish (zob. też plakat)

• KI 2012: Ogrodniczuk, Zawisławska – Semantic Approach to Identity in Coreference Resolution Task

• ICIC 2013: Dunin-Kęplicz, Szałas – Taming Complex Beliefs

• CICLING 2013: Ogrodniczuk, Zawisławska, Głowińska, Savary – Coreference annotation schema for an inflectional language

• LP&IIS 2013: Ogrodniczuk – Translation- and projection-based unsupervised coreference resolution for Polish (zob. też prezentację)

• NLDB 2013: Ogrodniczuk, Lenart – A Multi-Purpose Online Toolset for NLP Applications

• CLIMA 2013: Dunin-Kęplicz, Strachocka – Perceiving Rules under Incomplete and Inconsistent Information

• CNCCL 2013: Ogrodniczuk, Głowińska, Kopeć, Savary, Zawisławska – Interesting Linguistic Features in Coreference Annotation of a Highly Inflectional Language (zob. też plakat)

• MIKE 2013: Ogrodniczuk – Discovery of Common Nominal Facts for Coreference Resolution: Proof of concept (zob. też prezentację)

• LTC 2013: Nitoń – Evaluation of Uryupina’s coreference resolution features for Polish (zob. też prezentację)

• LTC 2013: Ogrodniczuk, Głowińska, Kopeć, Savary, Zawisławska – Polish Coreference Corpus (zob. też prezentację)

• ACIIDS 2014: Kopeć, Ogrodniczuk – Inter-Annotator Agreement in Coreference Annotation of Polish (zob. też plakat)

• EACL 2014: Kopeć – Zero subject detection for Polish (zob. też prezentację i wersję długą)

• EACL 2014: Kopeć – MMAX2 for coreference annotation

• LREC 2014: Ogrodniczuk, Kopeć, Savary – Polish Coreference Corpus in Numbers

Plakaty

• Ogrodniczuk, Kopeć – Rule-based coreference resolution module for Polish (DAARC 2011)

• Kopeć, Ogrodniczuk – Creating a Coreference Resolution System for Polish (LREC 2012)

• Kopeć, Ogrodniczuk – LRT for Polish coreference annotation and resolution (HLT 2012)

• Ogrodniczuk, Głowińska, Kopeć, Savary, Zawisławska – Interesting Linguistic Features in Coreference Annotation of Polish (CNCCL 2013)

• Kopeć, Ogrodniczuk – Inter-Annotator Agreement in Coreference Annotation of Polish (ACIIDS 2014)

• Ogrodniczuk, Kopeć, Savary – Polish Coreference Corpus in Numbers (LREC 2014)

Wystąpienia

• konferencja LTC 2011, Poznań, 26 listopada 2011: Ogrodniczuk, Kopeć – End-to-end coreference resolution baseline system for Polish

• seminarium IPI, Warszawa, 5 marca 2012: Ogrodniczuk, Głowińska, Zawisławska, Kopeć, Savary – Wstępna weryfikacja typologii i strategii anotacji koreferencji w tekstach polskich (zob. też krótki opis)

• konferencja 'Cognitive Linguistics in the Year 2012', Wrocław, 17-18 września 2012: Zawisławska, Ogrodniczuk – Ten sam czy taki sam? O problemach z identycznością z perspektywy odbiorcy (zob. też krótki opis)

• konferencja LP&IIS 2013, Warszawa, 18 czerwca 2013: Ogrodniczuk – Translation- and projection-based unsupervised coreference resolution for Polish

• seminarium IPI, Warszawa, 3 grudnia 2012: Ogrodniczuk, Głowińska, Zawisławska, Kopeć, Savary – Polski korpus koreferencyjny: wersja wstępna (zob. też krótki opis)

• konferencja LTC 2013, Poznań, 7 grudnia 2013: Nitoń – Evaluation of Uryupina’s coreference resolution features for Polish

• konferencja LTC 2013, Poznań, 9 grudnia 2013: Ogrodniczuk, Głowińska, Kopeć, Savary, Zawisławska – Polish Coreference Corpus

• konferencja MIKE 2013, Virudhunagar, 18 grudnia 2013: Ogrodniczuk – Discovery of Common Nominal Facts for Coreference Resolution: Proof of concept

• seminarium IPI, Warszawa, 27 stycznia 2014: Kopeć – Automatyczne wykrywanie podmiotu zerowego (zob. też krótki opis)

• konferencja EACL 2014, Göteborg, 29 kwietnia 2014: Kopeć – Zero subject detection for Polish

Instrukcje i raporty

• Instrukcja merytoryczna

• Instrukcja techniczna anotacji

• Instrukcja techniczna superanotacji

• Organizacja pracy anotacyjnej

• Przegląd narzędzi do anotacji

• Zgodność anotatorów

• Metryki ewaluacyjne

• Ewaluacja narzędzi zgodnie z ARE i SemEval

• Przegląd automatycznych narzędzi rozwiązujących koreferencję

Inne dokumenty wewnętrzne

• Harmonogram i notatki z eksperymentów anotacyjnych na Google Drive

• Format danych

• Opis eksperymentów anotacyjnych

• Opis Polskiego Korpusu Koreferencyjnego na stronie PKK:

  • po angielsku

  • po polsku

• Statystyki korpusowe

  • dla tekstów krótkich

  • dla tekstów długich

Raporty techniczne ze stażów

Piotra Batki ze stażu lingwistycznego:

• Raport z analizy cech lingwistycznych

• Raport z przeglądu polskiej literatury językoznawczej poświęconej koreferencji

Bartłomieja Nitonia ze stażu informatycznego:

• Raport techniczny z analizy przydatności cech do rozpoznawania koreferencji opisanych przez Olgę Uryupinę dla języka polskiego

Zasoby i narzędzia

• Polski Korpus Koreferencyjny

• Polski Korpus Koreferencyjny zwizualizowany za pomocą narzędzia brat

• Narzędzia koreferencyjne

External contributions

Parts of the work described here were also contributed by other externally funded projects, carried out simultaneously with CORE:

• works on the new version of the Polish grammar for Spejd by Alicja Wójcicka and Katarzyna Głowińska were co-funded by the Polish Ministry of Science and Higher Education as an Investment in CLARINPL Research Infrastructure and by the European Union from resources of the European Social Fund

• works related to linguistic evaluation of usefulness of Uryupina’s coreference features for Polish by Piotr Batko and development of adaptation of BART (Beautiful Anaphora Resolution Toolkit) for Polish by Bartłomiej Nitoń were co-funded by the European Union from financial resources of the European Social Fund, project PO KL Information technologies: Research and their interdisciplinary applications

• works related to coreference-based approach to summarization were carried out within PhD studies of Mateusz Kopeć at the Institute of Computer Science, Polish Academy of Sciences

• help with adaptation of coreference tools to Multiservice, a Web service framework for Polish NLP tools, was offered by Michał Lenart taking part in CESAR project (Central and South-east European Resources, part of META-NET) financed from a European Competitiveness and Innovation framework Programme, Information and Communication Technologies Policy Support Programme (CIP ICT-PSP, grant agreement 271022)

• projection-based experiments were made possible by the University Research Program for Google Translate

• contacts established with the parallel French coreference annotation project ANCOR were also beneficial for some of our scientific results and helped relate the CORE project more deeply to the international coreference community.

Project team

The core CORE project team constituted of (almost alphabetically):

• Maciej Ogrodniczuk — principal investigator
• Barbara Dunin-Kęplicz — formalization of coreference rules
• Maria Głąbska — coreference annotation
• Katarzyna Głowińska — linguistic expertise related to anaphora, coreference and Polish syntax
• Anna Grzeszak — coreference annotation
• Mateusz Kopeć — technical leadership, implementation and IT design, development of the annotation environment and project tools
• Emilia Kubicka — coreference annotation
• Barbara Masny — coreference annotation
• Paulina Rosalska — coreference annotation
• Agata Savary — coreference annotation and annotation work expertise
• Magdalena Zawisławska — linguistic and semantic expertise, annotation management, adjudication of the annotation of Polish Coreference Corpus
• Sebastian Żurowski — coreference annotation

but there were numerous other people, mainly colleagues from the Linguistic Engineering Group at the Institute of Computer Science, Polish Academy of Sciences, who contributed to various stages of the project with their selfless help:

• Piotr Batko — coreference annotation, verification of coreference features for Polish (linguistic part)
• Łukasz Degórski — help related to processing NKJP data
• Łukasz Debowski — statistical expertise
• Michał Lenart — help related to processing NKJP data, hardware expertise, Multiservice integration assistance
• Małgorzata Marciniak — HPSG anaphora expertise
• Bartłomiej Nitoń — verification of coreference features for Polish (implementation part)
• Adam Przepiórkowski — linguistic and natural language processing expertise, management of co-operation with the National Corpus of Polish
• Filip Skwarski — translation and proofreading
• Jakub Waszczuk — expertise related to annotation and named entity-related tools, versioning system management
• Joanna Wierucka — translation and proofreading.