Descrivere le parole

Descrivere le parole

L’idea per il motore di parole descrittive è venuta quando stavo costruendo il motore per parole correlate (è come un thesaurus, ma ti dà un insieme molto più ampio di parole correlate, piuttosto che solo sinonimi). Mentre giocavo con i vettori di parole e l’API” HasProperty “di conceptnet, mi sono divertito un po’ a cercare di ottenere gli aggettivi che descrivono comunemente una parola. Alla fine mi sono reso conto che c’è un modo molto migliore per farlo: analizzare i libri!,

Il progetto Gutenberg è stato il corpus iniziale, ma il parser è diventato più avido e avido e ho finito per alimentarlo da qualche parte intorno a 100 gigabyte di file di testo – per lo più finzione, incluse molte opere contemporanee. Il parser guarda semplicemente attraverso ogni libro e tira fuori le varie descrizioni dei nomi.,

Speriamo che sia più di una semplice novità e alcune persone lo troveranno effettivamente utile per la loro scrittura e il brainstorming, ma una piccola cosa da provare è confrontare due nomi che sono simili, ma diversi in qualche modo significativo – per esempio, il genere è interessante: “donna” contro “uomo” e “ragazzo” contro “ragazza”. Su un’analisi rapida iniziale sembra che gli autori di fiction abbiano almeno 4 volte più probabilità di descrivere le donne (al contrario degli uomini) con termini legati alla bellezza (per quanto riguarda il loro peso, le caratteristiche e l’attrattiva generale)., In effetti, “bello” è forse l’aggettivo più usato per le donne in tutta la letteratura mondiale, che è abbastanza in linea con la rappresentazione unidimensionale generale delle donne in molte altre forme di media. Se qualcuno vuole fare ulteriori ricerche su questo, fammi sapere e posso darti molti più dati (ad esempio, ci sono circa 25000 voci diverse per “donna” – troppe da mostrare qui).

L’azzurro dei risultati rappresenta la loro frequenza relativa. È possibile passare il mouse su un elemento per un secondo e il punteggio di frequenza dovrebbe pop-up., L’ordinamento “unicità” è predefinito e, grazie al mio complicato algoritmo™, li ordina per l’unicità degli aggettivi a quel particolare nome rispetto ad altri nomi (in realtà è piuttosto semplice). Come ti aspetteresti, puoi fare clic sul pulsante “Ordina per frequenza di utilizzo” per gli aggettivi in base alla loro frequenza di utilizzo per quel nome.