Opisywanie słów

opisywanie słów

pomysł na silnik opisujący słowa Przyszedł, gdy budowałem silnik dla powiązanych słów(to jest jak tezaurus, ale daje znacznie szerszy zestaw powiązanych słów, a nie tylko synonimy). Podczas zabawy z wektorami słów i API” HasProperty ” w conceptnet, miałem trochę zabawy próbując uzyskać przymiotniki, które powszechnie opisują słowo. W końcu zdałem sobie sprawę, że jest na to znacznie lepszy sposób: parse books!,

Projekt Gutenberg był początkowym korpusem, ale parser stał się bardziej chciwy i chciwy, a ja skończyłem karmiąc go gdzieś około 100 gigabajtów plików tekstowych – głównie fikcją, w tym wieloma współczesnymi dziełami. Parser po prostu przegląda każdą książkę i wyciąga różne opisy rzeczowników.,

Mam nadzieję, że jest to coś więcej niż tylko nowość i niektórzy ludzie rzeczywiście uznają ją za przydatną do pisania i burzy mózgów, ale jedną zgrabną rzeczą do spróbowania jest porównanie dwóch rzeczowników, które są podobne, ale różnią się w jakiś znaczący sposób – na przykład płeć jest interesująca: „kobieta” kontra „mężczyzna” i „chłopiec” kontra „dziewczyna”. Na wstępnej szybkiej analizie wydaje się, że autorzy fikcji są co najmniej 4x bardziej skłonni do opisywania kobiet (w przeciwieństwie do mężczyzn) za pomocą terminów związanych z pięknem (dotyczących ich wagi, cech i ogólnej atrakcyjności)., W rzeczywistości „piękna” jest prawdopodobnie najczęściej używanym przymiotnikiem dla kobiet w całej światowej literaturze, co jest dość zgodne z ogólną, jednowymiarową reprezentacją kobiet w wielu innych formach medialnych. Jeśli ktoś chce zrobić dalsze badania na ten temat, daj mi znać, a mogę podać dużo więcej danych (na przykład, jest około 25000 różnych wpisów dla „kobiety” – zbyt wiele, aby pokazać tutaj).

niebieskość wyników reprezentuje ich względną częstotliwość. Możesz najechać na element przez sekundę, a wynik częstotliwości powinien wyskoczyć., Sortowanie „wyjątkowości” jest domyślne i dzięki mojemu skomplikowanemu algorytmowi™ porządkuje je według wyjątkowości przymiotników do danego rzeczownika w stosunku do innych rzeczowników (w rzeczywistości jest to dość proste). Jak można się spodziewać, możesz kliknąć przycisk „Sortuj według częstotliwości użycia”, aby przymiotniki według częstotliwości użycia dla tego rzeczownika.