diff --git a/README.md b/README.md index 572421f..755d0d7 100644 --- a/README.md +++ b/README.md @@ -37,7 +37,25 @@ pip install . ## πŸ“‚ ΠŸΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠ° Π΄Π°Π½Π½Ρ‹Ρ… -ΠŸΠΎΠΌΠ΅ΡΡ‚ΠΈΡ‚Π΅ тСкстовыС Ρ„Π°ΠΉΠ»Ρ‹ (.txt) Π² ΠΏΠ°ΠΏΠΊΡƒ: +### Π“Π΄Π΅ Π²Π·ΡΡ‚ΡŒ тСкстовыС корпуса для обучСния? + +ΠŸΠΎΠ΄Π±ΠΎΡ€ΠΊΠ° ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹Ρ… корпусов ΠΏΠΎ русской Π»ΠΈΡ‚Π΅Ρ€Π°Ρ‚ΡƒΡ€Π΅ ΠΈ Ρ„ΠΎΠ»ΡŒΠΊΠ»ΠΎΡ€Ρƒ: + +- **[Π‘ΠΎΠ±Ρ€Π°Π½ΠΈΠ΅ стихотворСний А. Π‘. ΠŸΡƒΡˆΠΊΠΈΠ½Π°](https://dataverse.pushdom.ru/dataset.xhtml?persistentId=doi:10.31860/openlit-2023.8-C005)** +- **[ΠšΠΎΡ€ΠΏΡƒΡ Π½Π°Ρ€ΠΎΠ΄Π½Ρ‹Ρ… пСсСн ΠΏΠ΅Ρ€Π²ΠΎΠΉ ΠΏΠΎΠ»ΠΎΠ²ΠΈΠ½Ρ‹ XIX Π²Π΅ΠΊΠ°](https://dataverse.pushdom.ru/dataset.xhtml?persistentId=doi:10.31860/openlit-2019.11-C003)** +- **[Π‘Π±ΠΎΡ€Π½ΠΈΠΊ русских Π»ΠΈΡ‚Π΅Ρ€Π°Ρ‚ΡƒΡ€Π½Ρ‹Ρ… Π±Π°Π»Π»Π°Π΄ 1840-Ρ… Π³ΠΎΠ΄ΠΎΠ²](https://dataverse.pushdom.ru/dataset.xhtml?persistentId=doi:10.31860/openlit-2021.9-C003)** +- **[ΠšΠΎΠ»Π»Π΅ΠΊΡ†ΠΈΡ русских элСгий 1815–1835 Π³ΠΎΠ΄ΠΎΠ²](https://dataverse.pushdom.ru/dataset.xhtml?persistentId=doi:10.31860/openlit-2019.11-C001)** +- **[Архив ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΉ ΠΆΡƒΡ€Π½Π°Π»Π° Β«Π‘ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΈΠΊΒ» (1847–1866)](https://stepik.org/lesson/1624883/step/1?unit=1647042#:~:text=%D0%9A%D0%BE%D1%80%D0%BF%D1%83%D1%81%20%D0%BF%D1%83%D0%B1%D0%BB%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D0%B9%20%D0%B6%D1%83%D1%80%D0%BD%D0%B0%D0%BB%D0%B0%20%C2%AB%D0%A1%D0%BE%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D0%B8%D0%BA%C2%BB%201847%E2%80%931866)** +- **[19 000 Russian Poems](https://www.kaggle.com/datasets/grafstor/19-000-russian-poems)** β€” коллСкция ΠΈΠ· 19 тысяч стихотворСний Π½Π° русском языкС. +- **[Russian Novels](https://github.com/JoannaBy/RussianNovels/tree/master)** β€” Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠ° классичСских русских Ρ€ΠΎΠΌΠ°Π½ΠΎΠ² (ΠΎΠΊΠΎΠ»ΠΎ сотни ΠΏΡ€ΠΎΠΈΠ·Π²Π΅Π΄Π΅Π½ΠΈΠΉ). +- **[artificial-dostoevsky](https://gitlab.com/z00logist/artificial-dostoevsky)** β€” собраниС ΠΈΠ· 34 ΠΏΡ€ΠΎΠΈΠ·Π²Π΅Π΄Π΅Π½ΠΈΠΉ Π€Ρ‘Π΄ΠΎΡ€Π° ДостоСвского, Π²ΠΊΠ»ΡŽΡ‡Π°Ρ Π΅Π³ΠΎ извСстныС Ρ€ΠΎΠΌΠ°Π½Ρ‹ ΠΈ рассказы. +- **[Russian Financial News](https://www.kaggle.com/datasets/kkhubiev/russian-financial-news)** β€” датасСт, Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‰ΠΈΠΉ тСксты финансовых новостСй Π½Π° русском. + +Π­Ρ‚ΠΎ лишь Ρ‡Π°ΡΡ‚ΡŒ доступных собранных корпусов. Π’ Π΄ΠΎΠΏΠΎΠ»Π½Π΅Π½ΠΈΠ΅ ΠΊ Π½ΠΈΠΌ Π² ΠΈΠ½Ρ‚Π΅Ρ€Π½Π΅Ρ‚Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎ Π½Π°ΠΉΡ‚ΠΈ ΠΈ Π·Π°Π³Ρ€ΡƒΠ·ΠΈΡ‚ΡŒ тСксты ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… классичСских ΠΏΡ€ΠΎΠΈΠ·Π²Π΅Π΄Π΅Π½ΠΈΠΉ (ΠŸΡƒΡˆΠΊΠΈΠ½, Π›Π΅Ρ€ΠΌΠΎΠ½Ρ‚ΠΎΠ², Волстой ΠΈ Π΄Ρ€.). + +Помимо Π»ΠΈΡ‚Π΅Ρ€Π°Ρ‚ΡƒΡ€Π½Ρ‹Ρ… источников, Π²Ρ‹ ΠΌΠΎΠΆΠ΅Ρ‚Π΅ ΡΡ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ собствСнный датасСт ΠΈΠ· Π΄Ρ€ΡƒΠ³ΠΈΡ… рСсурсов. НапримСр, для обучСния ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΠΎΠ΄ΠΎΠΉΠ΄ΡƒΡ‚ ΡΡ‚Π°Ρ‚ΡŒΠΈ ΠΈΠ· Π’ΠΈΠΊΠΈΠΏΠ΅Π΄ΠΈΠΈ β€” доступны [ΠΎΡ„ΠΈΡ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Π΅ Π΄Π°ΠΌΠΏΡ‹](https://dumps.wikimedia.org/ruwiki/latest/?spm=a2ty_o01.29997173.0.0.3565c921IkqB7g), для ΠΈΡ… ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΡƒΠ΄ΠΎΠ±Π½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ инструмСнт [wikiextractor](https://github.com/attardi/wikiextractor). + +Π‘ΠΊΠ°Ρ‡Π°ΠΉΡ‚Π΅ Π½ΡƒΠΆΠ½Ρ‹ΠΉ корпус, распакуйтС Π°Ρ€Ρ…ΠΈΠ² (Ссли Π½ΡƒΠΆΠ½ΠΎ) ΠΈ помСститС тСкстовыС Ρ„Π°ΠΉΠ»Ρ‹ (.txt) Π² ΠΏΠ°ΠΏΠΊΡƒ: ``` data/ └── corpus/