[NLP] Moderne Sprachverarbeitung
Malte Pietsch und Timo Möller sind zwei der drei Gründer des NLP Startups DeepSet. In Folge 19 besprechen wir gemeinsam die wesentlichen Grundlagen moderner Sprachverarbeitung. Bevor wir aber auf tiefe Neuronale Netzwerke und Bert eingehen, diskutieren wir einige der typischen Aufgaben wie Named-Entity-Recognition oder Text-Classification. Wir besprechen die Entwicklungen der letzten Jahre, die etwa Word-Embeddings, Attention basierte Algorithmen und Transformer hervorgebracht haben. Die beiden Gründer berichten aber auch von den Herausforderungen die sie bewältigt haben, als sie eine deutsche Variante des derzeit beliebten Bert-Netzwerks trainiert haben. Eine Übersicht über Entwicklungen im NLP Bereich: http://ruder.io/a-review-of-the-recent-history-of-nlp/ Grafische Erklärung von Transformern: http://jalammar.github.io/illustrated-transformer/ Das deutsche Bert Modell: https://deepset.ai/german-bert