PythonでWord2vecを使い類似語を表示するスクリプトを作った【自然言語処理, gensim】

68, 2020-10-05

Word2vecとは？

自然言語処理で類似語を判定したいとなったとき、Pythonで使われるライブラリがWord2vecです。

これはGoogleのトマス・ミコロフ氏が筆頭に開発した技術で、サンプルとなるテキストからモデルを作成し、そのモデルを使って類似語などを検出できるようにするというものです。
今回はこのWord2vecを使ったコマンドライン・スクリプトを作成しましたので紹介したいと思います。

（省略されました）

67, 2020-10-04

人間が発する言語を「自然言語」と呼び、自然言語を単語ごとに分割する手法を「形態素解析」といいます。
PythonにはJanomeという形態素解析ライブラリがあり、これを使うと文章を簡単に解析することが可能です。

今回は形態素解析を使い、文章の特定の語尾（助動詞）を指定の語尾に置き換えるという処理を書いてみます。

（省略されました）

66, 2020-10-03

人間が自然発生的に使っている言語を「自然言語」と言います。
その自然言語を構造的に解析する手法の1つに「形態素解析（けいたいそかいせき）」というジャンルがあります。

自然言語に対して形態素解析を行うと、名詞や動詞を抽出したりできるようになります。

Pythonには形態素解析を行うライブラリに「Janome」があります。

（省略されました）