We present an abstractive summarization system for German texts. The method was developed in the scope of the German Text Summarization Challenge at the SwissText 2019 conference.
Goal of the German Text Summarization Challenge is to explore new ideas for abstractive summarization of German texts. The organizers provided 100,000 Wikipedia articles together with their reference summaries. The system was evaluated qualitatively on a small test set.
network. In addition to generating tokens from a vocabulary, the sequence-to-sequence model is able to copy certain passages from the source text to the output.
We identified and addressed two issues: Repeated tokens or phrases in the generated summary and fact fabrication. Based on (See et al., 2017), the former is addressed by modifying the attention mechanism and the loss function of the model. We try to avoid fact fabrication by also supplying the model with extracted fact descriptions from the article as suggested in (Cao et al., 2017).
2.1
Using spaCy1 we lowercase and tokenize articles and summaries. We construct a vocabulary of the 60,000 most frequent tokens.
As in (See et al., 2017), to speed up training and testing, each article is truncated to 400 tokens. The median number of tokens of the provided Wikipedia articles is 583.00. Thus, we believe that this restriction does not have a big impact on the results. Furthermore, most relevant information will arguably appear towards the beginning of the article. 2.2
The core of our system is the pointer-generator network, based on a sequence-to-sequence model with attention, proposed in (See et al., 2017). Refer to Figure 2 for an illustration. Unlike in (See et al., 2017), we initialize our learnable word embeddings with fastText embeddings (Bojanowski et al., 2017) which were pretrained on Wikipedia.
Let hi and st be the encoder and decoder LSTM states, respectively. The attention distribution at at decoder time step t is computed as in Bahdanau
et al. (Bahdanau et al., 2015): eit = vT tanh(Whhi + Wsst + battn) at = softmax(et) The model is given the opportunity to learn the weights v, Wh, Ws and battn such that at can be used to decide where in the article ‘to look’ when generating the output token at time t. The attention distribution is used to calculate the context vector ht∗, a weighted sum of the encoder states hi. ht∗ =
X aihi
t i Based on at, the context vector captures features of the input article at specific locations. Together with the decoder state st, ht∗ is used to calculate a distribution Pvocab over the initial vocabulary:
Pvocab = softmax(V 0(V [st, ht∗] + b) + b0) (4) where V, V 0, b and b0 are trainable parameters. (1) (2) (3)
Pointer-Generator Mechanism So far, we reviewed a standard sequence-to-sequence model with attention: Pvocab can be used to calculate a loss function or to decode the next word at inference time. We now briefly discuss how pointers can be used to directly copy some tokens from the input to the output. This includes out of vocabulary (OOV) tokens from the input article.
The pointer distribution over the tokens wi of the input article is defined as follows:
Ppointer(w) =
X ait i:wi=w (5) Given an input article, we define the extended vocabulary to be the union of the initial vocabulary and OOV tokens in the article (The latter get temporary token ids). The final distribution over the extended vocabulary is a weighted sum of the vocabulary and pointer distributions.
P (w) = pgenPvocab(w) + (1 − pgen)Ppointer(w) (6) If w does not occur in the article then Ppointer(w) = 0. If w occurs in the article but not in the vocabulary (i.e. it only occurs in the extended vocabulary) then Pvocab(w) = 0. pgen is a learned: pgen = σ(whT∗ ht∗ + wsT st + wxT xt + bptr) (7) where wh∗ , ws, wx and bptr are trainable and xt is the decoder input at time t.
Sequence-to-sequence models often generate repeated words or phrases; e.g. (Tu et al., 2016; Mi et al., 2016). See et al. (See et al., 2017) address this problem with their coverage mechanism. The idea is to discourage the model to attend the same locations in the input article multiple times. To do this, they define a coverage vector ct = (Ptt0−=10 at0 ,
if t ≥ 1 . zero vector, if t = 0 (8) The coverage vector, an unnormalized probability distribution over the article tokens wi, can be seen as history of the attention distribution up to decoding step t. To utilize the information captured by ct, Equation 1 is changed as follows:
eit = vT tanh(Whhi + Wsst + wccit + battn) (9) where wc is a trainable parameter vector.
See et al. (See et al., 2017) report best results when first training until convergence and only then briefly train with the coverage mechanism. During training, teacher forcing is used: When trying to predict the t-th target token, the decoder is given the correct target token from step t − 1.
The loss for a sequence of length T is loss = − T1 X log P (wt∗) t (10) The authors found it useful to change the the loss function as follows when using the coverage mechanism: loss = 1 X h − log P (wt∗) + λ X min(ait, cit)i T t i (11) where λ is a hyperparameter. When attending to the same token wi at multiple time steps, cit will become large. If cit is large, the model is better off generating at s.t. ait is small in order to minimize the loss function. This way, the model model might learn to not attend to the same location multiple times. In turn, this may prevent the generation of the same token or phrase multiple times. 2.3
Cao et al. (Cao et al., 2017) observe that around 30% of generated summaries from state-of-the art abstractive text summarization systems suffer from fact fabrication. We found that fact fabrication is also an issue with our system. The authors address the problem by providing the model with fact descriptions in addition to the input article. A fact description is a sequence of tokens which attempts to capture the facts of an article; An example can be seen in Table 1. As illustrated in Figure 1, the fact descriptions are fed into an auxiliary bidirectional LSTM encoder.
Fact Description Extraction Unlike in (Cao et al., 2017), we cannot use Stanford’s OpenIE (Angeli et al., 2015) extraction tool to extract (subject, predicate, object) triples for German. On a per sentence basis, we use following approach instead. Refer to Table 1 for an example.
1. Dependency parsing and named entity extraction on the sentence using spaCy. 2. Extract tuples (subject noun phrase, predicate) and (predicate, object noun phrase) from the dependency graph. 3. Merge tuples containing the same predicate to (subject noun phrase, predicate, object noun phrase) triples.
entity. We found that this step increases the subjective quality of the resulting fact descriptions.
Main Model As in (Cao et al., 2017), we provide the main model with the features extracted from fact descriptions by combining the attention context vectors of both encoders. We use a linear projection followed by the sigmoid non-linearity rather than a multi-layer perceptron.
gt = σ(Wf [htarticle, hftact] + bf ) ht∗ = gt harticle + (1 − gt) t hfact t (12) where denotes pointwise multiplication and Wf and bf are learnable parameters. htarticle corresponds to ht∗ in Equation 3. 2.4
During inference, the previously generated output token is fed back into the decoder. In the first step, a special start-token <d> is supplied. As soon as the decoder generates the end-token </d>, the output is considered complete. We use beam search for decoding.
We discuss three approaches to improve generated summaries.
<UNK> denotes the token that is used for all OOV tokens in the articles and summaries.
Suppressing <UNK>s We discussed in Section 2.2 that the pointer-generator network is able to copy OOV tokens in the article to the summary. This is possible because these tokens are represented in the input by a temporary token-id from which the token can be recovered. Despite this mechanism, the generated summaries sometimes contain <UNK>s. Intuitively, the network is unsure which token to copy from the article or to generate from the vocabulary distribution.
To overcome this issue, we set the probability of the <UNK> token in the final distribution to 0. Thus, in cases where the model would previously generate <UNK>, it is now forced to fall back on the token with the second highest probability.
or phrases are a common problem when using sequence-to-sequence models. As discussed in Section 2.2, See et al. (See et al., 2017) introduce the coverage mechanism to address this problem. While we were able to reduce the the number of repeated noun phrases by around 50% in some preliminary experiments, the output sometimes still contains repeated tokens.
Rather than changing the architecture of the model or its training objective, we guide the beam search decoder towards hypotheses with few repeated tokens. Let x denote the sequence of tokens in the input article. yit denotes the i-th hypothesis – i.e. a sequence of tokens – up to decoding step t.
Beam search expands its current set of hypotheses based on the conditional likelihood score = log p(w|x, yit) (14) where w is a token in the extended vocabulary.
Based on (Fan et al., 2018b), we modify this score to penalize hypotheses containing repeated tokens. Let n = t + 1 and nu be the number of tokens and unique tokens in yit, respectively. scoreu = log p(w|x, yit) + α nu (15) n The second term, weighted by the hyperparameter α, captures unigram novelty.
training, we condition the model on the number of tokens in the summary. We found that the the article length correlates with the summary length: The Pearson correlation coefficient is 0.531. Thus, during inference, we guide the model to generate a summary with appropriate length based on the article length.
Similar to (Fan et al., 2018a), we group the training samples into eight similar sized bins according to the summary length and enumerate these bins in ascending order. For each training sample, we append the binary encoding of its corresponding bin label to the input-embedding of the decoder. Table 3 in the appendix lists the bins used in our submission with corresponding encodings.
Similarly, we group articles into the same number bins. During inference we do not have a reference summary where we could get the target length from. Instead we append the encoding of the bin label – of the article bin into which the article falls – to the decoder embeddings. We use Mosestokenizer2 to detokenize the generated summaries. Furthermore, some words need to be capitalized. E.g. entity names, nouns or the first token of a sentence. To do the latter we use NLTK’s3 sentence tokenizer to detect sentences. To capitalize nouns and entity names, we constructed a vocabulary of the 180,000 most frequent (cased) tokens from the dataset. For each generated word, we check whether its capitalized version is more frequent than the lower case version. If so, the token in question is capitalized. 3
For our final submission, we train on 99,800 samples (99.8%) of the provided training set and do not use any additional data. We computed the perplexity on the remaining samples and found that our model converged after around 17 epochs. As suggested in (See et al., 2017), we continue training for 3000 steps with the coverage mechanism (λ = 1). We use batches of size 16 and train with a learning rate of 0.16. Our hyperparameters: • LSTM hidden state: 320 • Embedding dimension: 300 • Max. number of encoder states: 400 • Max. # decoder states during training: 50 • Max. # decoding steps during inference: 120
rameter in Eq. 15 to α = 0.05. Table 3 lists summary and article bins used for length conditioning. 3.1
Some example summaries are listed in Table 2. The corresponding articles are found in the appendix. Most summaries are relevant to corresponding article and are in most cases grammatically correct. However, despite our automatic length control, the model tends to generate rather short summaries.
No official ranking was released for the German Text Summarization Challenge.
We would like to thank Tamedia AG for supporting this work. Our system was developed in the scope of Tamedia’s Headline Generation project.
B C
Samuel Sullivan Cox war ein US-amerikanischer Politiker. Zwischen 1857 und 1865 vertrat er den Bundesstaat Ohio im US-Repra¨sentantenhaus. Karl Georg Heinrich von Hoym war ein preussischer General.
Die neue Landeszentrale fu¨r politische Bildung in Niedersachsen ist eine ko¨rperschaft des Niedersa¨chsischen Ministeriums fu¨r Wissenschaft und Kultur in Gelsenkirchen.
B Samuel Sullivan Cox wurde ungefa¨hr neuneinhalb Jahre nach dem Ende des BritischAmerikanischen Krieges in Zanesville geboren und wuchs dort auf. Er besuchte die Ohio University in Athens und graduierte 1846 an der Brown University in Providence . Cox studierte Jura, erhielt seine Zulassung als Anwalt und begann dann 1849 in Zanesville zu praktizieren. Er erwarb die Zeitung ”Columbus Statesman” in Ohio und war in den Jahren 1853 und 1854 dort als Redakteur ta¨tig. 1855 ging er als ”Secretary of the US Legation” nach Lima . Politisch geho¨rte er der Demokratischen Partei an. Er nahm als Delegierter in den Jahren 1864 und 1868 an den Democratic National Conventions teil. Bei den Kongresswahlen des Jahres 1856 wurde Cox im zwo¨lften Wahlbezirk von Ohio in das US-Repra¨sentantenhaus in Washington, D.C. gewa¨hlt, wo er am 4. Ma¨rz 1857 die Nachfolge von Samuel Galloway antrat. Er wurde zwei Mal in Folge wiedergewa¨hlt. Dann kandidierte er im Jahr 1862 im siebten Wahlbezirk von Ohio fu¨r einen Kongresssitz. Nach einer erfolgreichen Wahl trat er am 4. Ma¨rz 1863 die Nachfolge von Richard Almgill Harrison an. Zwei Jahre spa¨ter erlitt er bei seiner Wiederwahlkandidatur eine Niederlage und schied nach dem 3. Ma¨rz 1865 aus dem Kongress aus. Wa¨hrend der Zeit als Kongressabgeordneter hatte er den Vorsitz u¨ber das ”Committee on Revolutionary Claims” . Cox zog am 4. M a¨rz 1865 nach New York City, wo er wieder als Anwalt ta¨tig war. Bei den Kongresswahlen des Jahres 1868 wurde er im sechsten Wahlbezirk von New York in das US-Repra¨sentantenhaus in Washington D.C. gewa¨hlt, wo er am 4. Ma¨rz 1869 die Nachfolge von Thomas E. Stewart antrat. Nach einer erfolgreichen Wiederwahl erlitt er im Jahr 1872 eine Niederlage und schied nach dem 3. Ma¨rz 1873 aus dem Kongress aus. Wa¨hrend dieser Wahl trat er sowohl fu¨r die Demokraten als auch fu¨r die ”Liberal Republicans” fu¨r den ”at-large”-Sitz im 43. Kongress an. Am 4. November 1873 wurde er dennoch in das US-Repra¨sentantenhaus gewa¨hlt, um dort die Vakanz zu fu¨llen, die durch den Tod von James Brooks entstand. Er wurde fu¨nf Mal in Folge wiedergewa¨hlt. Im Jahr 1884 kandidierte er im achten Wahlbezirk fu¨r einen Kongresssitz. Nach einer erfolgreichen Wahl trat er am 4. Ma¨rz 1885 die Nachfolge von John J. Adams an, verku¨ndete aber am 20. Mai 1885 schon seinen Ru¨cktritt. Als Kongressabgeordneter hatte er in dieser Zeit den Vorsitz u¨ber das ”Committee on Banking and Currency” , das ”Committee on the Census” , das ”Committee on Foreign Affairs” und das ”Committee on Naval Affairs” . Pr a¨sident Grover Cleveland ernannte ihn am 21. Mai 1885 als Nachfolger von Lew Wallace zum Gesandten im Osmanischen Reich eine Stellung, die er bis zum 22. Oktober 1886 innehatte. Am 2. November 1886 wurde er im neunten Wahlbezirk von New York in das US-Repra¨sentantenhaus gewa¨hlt, um dort die Vakanz zu fu¨llen, die durch den Ru¨cktritt von Joseph Pulitzer entstand. Cox wurde in die C zwei folgenden Kongresse wiedergewa¨hlt. Er verstarb wa¨hrend seiner letzten Amtszeit am 10. September 1889 in New York City und wurde dann auf dem Green-Wood Cemetery in der damals noch eigensta¨ndigen Stadt Brooklyn beigesetzt. Sein Grossvater war der Kongressabgeordnete James Cox aus New Jersey. Er wurde nach Samuel Sullivan benannt, der zwischen 1820 und 1823 ”State Treasurer” von Ohio war. Samuel Sullivan Cox war als redegewandter Sprecher bekannt. Seinen Spitznamen ”Sunset” bekam er wegen einer besonders blumigen Beschreibung eines Sonnenuntergangs in einer seiner Reden James H. Baker, der damalige Redakteur der ”Scioto Gezette”, einer Whig-Zeitung in Chillicothe, gab ihm daraufhin den Spitznamen. Cox verfasste wa¨hrend seines Lebens die folgenden Werke: Karl Georg Heinrich von Hoym wurde 1739 als Sohn von Hans Bogislaws von Hoym, Erbherr auf Poblotz, und dessen Frau Auguste Henriette, geborene von Wobeser, geboren. Sein Vater, damals preussischer Lieutenant, starb bereits 1741 im Ersten Schlesischen Krieg. Ein Jahr spa¨ter verstarb auch die Mutter. Von Hoym wurde daraufhin von Heinrich Graf von Podewils aufgenommen und mit dessen So¨hnen aufgezogen. Nach dem Besuch des Collegium Fridericianum in Ko¨nigsberg begann von Hoym 1758 ein Jura-Studium an der Universita¨t in Frankfurt an der Oder. Er verliert das Interesse am Studium und versucht mehrere Sprachen zu erlernen. Im Juli 1761 tritt er als Fahnenjunker in das Ku¨rassierregiment von Gustav Albrecht von Schlabrendorf in Breslau ein. Von Schlabrendorf ra¨t von Hoym allerdings ”wegen seines schwa¨chlichen Aussehens” zum Abschied und empfiehlt ihn seinem Bruder, dem dirigierenden Minister Ernst Wilhelm von Schlabrendorf. Von diesem wird von Hoym am 8. August 1761 als Auskultator an der Breslauer Kriegs- und Doma¨nenkammer angestellt. Nach relativ kurzer Zeit wurde er am 29. April 1762 zum Kriegs- und Doma¨nenrat ernannt. Im Ma¨rz 1767 wird er Geheimrat und zweiter Kammerdirektor. Im gleichen Jahr heiratete er Antonie Louise Freiin von Dyhern und Scho¨nau . 1768 lernte ihn Friedrich der Grosse selbst kennen und ernannte ihn 1769 zum Regierungspra¨sidenten in Kleve und 1770 zum dirigierenden Minister in Schlesien, um welches sich Hoym sehr verdient machte. Friedrich Wilhelm II. verlieh ihm 1786 die Grafenwu¨rde und betraute ihn 1793 auch noch mit der Verwaltung des neu erworbenen Su¨dpreussen. Hier gab Hoym durch bu¨rokratischen Despotismus sowie schlechte Verwaltung, Selbstbereicherung und Verschleuderung des Staatsguts grossen Anstoss und veranlasste so das Schwarze Buch von Hans von Held. Ab 1796 war er Inhaber der Dompropstei Kucklow in Hinterpommern. Ihr vorheriger Inhaber, der preussische Generalfeldmarschall Wichard von Mo¨llendorff, hatte sie ihm mit Genehmigung des Ko¨nigs u¨bertragen. Nach dem Tilsiter Frieden wurde Hoym in den Ruhestand versetzt und starb am 22. Oktober 1807 auf seiner Besitzung in Dyhernfurt bei Breslau. Er heiratete 1767 die Freiin ”Antonie Louise von Dyhern und Scho¨nau” , eine Tochter des Hofmarschall und Kammerdirektors in Oels Freiherr ”Anton Ulrich von Dyhrn” und der Freiin ”Sophie Caroline von Crausen”. Seine Frau war auch Erbin von Dyhernfurth. Das Paar hatte zwei To¨chter.
D Gegru¨ndet wurde die niedersa¨chsische Landeszentrale fu¨r politische Bildung 1955 unter dem Namen ”Nieders a¨chsische Landeszentrale fu¨r Heimatdienst”. Die Umbenennung in Landeszentrale fu¨r politische Bildung erfolgte 1959. Das o¨ffentliche Interesse erregte 1966 die Meldung, dass dem ehemaligen SS-Mitglied und damaligen Mitglied des Niedersa¨chsischen Landtages Otto Freiherr von Fircks durch Mittel der NLpB ein Besuch von Israel und der Gedenksta¨tte Yad Vashem ermo¨glicht wurde, ohne dass er die Landeszentrale fu¨r politische Bildung von seiner Vergangenheit in Kenntnis setzte. Zum 31. Dezember 2004 wurde die Landeszentrale von der niedersa¨chsischen Landesregierung unter Fu¨hrung des Ministerpra¨sidenten Christian Wulff und Uwe Schu¨nemann aus Kostengru¨nden aufgelo¨st. Dies fu¨hrte zu erheblichen Protesten, unter anderem durch die Bundeszentrale fu¨r politische Bildung. Nach der Aufl o¨sung 2004 wurde die Arbeit der niedersa¨chsischen Landeszentrale fu¨r politische Bildung von verschiedenen Organisationen u¨bernommen: Im Jahr 2008 forderte die Fraktion Bu¨ndnis 90/Die Gru¨nen in der 16. Legislaturperiode des Deutschen Bundestages in ihrem Antrag , dass die Bundesregierung auf die niedersa¨chsische Landesregierung einwirken solle, damit wieder eine Landeszentrale fu¨r politische Bildung in Niedersachsen errichtet wird. Im April 2016 beschloss der Niedersa¨chsische Landtag einstimmig die Wiedererrichtung einer Niedersa¨chsischen Landeszentrale fu¨r politische Bildung. Sie wurde als nichtrechtsfa¨hige Anstalt des o¨ffentlichen Rechts im Gescha¨ftsbereich des Niedersa¨chsischen Ministeriums fu¨r Wissenschaft und Kultur errichtet und am 25. Januar 2017 ero¨ffnet. Die Landeszentrale hat acht Mitarbeiter und ihr steht ein ja¨hrliches Budget von 870.000 Euro zur Verfu¨gung. Der Sitz befindet sich im Zentrum von Hannover am Georgsplatz. Nach einstimmigen Votum des Kuratoriums der Landeszentrale, bestehend aus neun Angeho¨rigen aus allen Fraktionen des Niedersa¨chsischen Landtags, wurde Ulrika Engler als Direktorin bestimmt. Zuvor leitete sie seit 2007 die politische Bildungseinrichtung ”aktuelles forum” in Gelsenkirchen. Nach der Aufl o¨sung der Landeszentrale im Jahr 2004 hatten staatliche und freie Tra¨ger die politische Bildungsarbeit u¨bernommen, darunter Gedenksta¨tten, Gewerkschaften, Kirchen, Schulen, Stiftungen und Volkshochschulen. Diese Einrichtungen werden von der neu gegru¨ndeten Landeszentrale vernetzt und unterstu¨tzt. Die neue Landeszentrale tritt versta¨rkt im Internet in sozialen Netzwerken, wie Facebook, auf und verbreitet Filme auf Youtube. Damit soll Zugang zu politischen Informationen ermo¨glicht werden. Um die politische Ausgewogenheit der Arbeit der Niedersa¨chsischen Landeszentrale fu¨r politische Bildung zu gewa¨hrleisten, wurde bis 2004 ein Kuratorium aus siebzehn Mitgliedern des niedersa¨chsischen Landtages eingesetzt. Nach der Wiedergru¨ndung der Niedersa¨chsischen Landeszentrale fu¨r politische Bildung geho¨ren dem Kuratorium neun Personen an, die aus allen Fraktionen des Niedersa¨chsischen Landtags stammen. Zum Vorsitzenden wurde Marco Brunotte gewa¨hlt.