自然言語処理

Pythonを使って文章から共起ネットワークを作る

今回は文章から共起ネットワークを作ってみたいと思います。一つの文内で出てくる単語の組合せをネットワーク化することで、文章の趣旨を明らかにしていきます。ドラマの人物相関図みたいに単語と単語のつながりをネットワーク化したものを作ります。 前回、…

Pythonを使って自然言語処理の前処理を行う

テキストに関する分析や機械学習は以前に触ったことはありますが、毎年のおせち料理みたいにつまみ食いして終わっていたので、今回は体系的に勉強してみたいと思います。目指すはコミュ障な自分の脈略のない話に対して、行間の補足や心情説明をしてくれるボ…

Pythonでトピックモデル Word Cloud と LDA

SNSがコミュニケーションのインフラになりつつあることで、世の中は言葉で溢れています。この膨大な言葉の文章をまとめることで一つ一つの文章からはわからない傾向を新たに獲得することができます。具体的には、文章をカテゴライズして分類することで、どの…