記事一覧
Janomeでマルコフ連鎖を行い文章を生成する【自然言語処理, Python】
Janomeでマルコフ連鎖
自然言語とは私たちが使う言語のことを言います。
これの解析を自然言語処理と言います。
自然言語処理の工程には字句解析(形態素解析)という工程がありますが、これは文章を単語の列に分割する解析です。
有名な字句解析器にはJUMAN++, ChaSen, MeCabやJanomeなどがあります。
(省略されました)
spaCyで名前を記憶する無能AIを作る【自然言語処理, Python】
AIを作りたい
AIを作りたいんですが、AIは技術的要件が大きいので中々難しいところがあります。
しかし自然言語処理でユーザーの入力を解析して、その解析に対して出力を出すといったことは、非常に小さいものから制作可能です。
今回はPythonの自然言語処理ライブラリであるspaCy(スパイシー)を使って無能AIを作ってみたいと思います。
(省略されました)
spaCyで無能翻訳機を作る【自然言語処理, Python】
spaCyで無能翻訳機を作る
私たちは言葉を使ってコミュニケーションを取りますが、この言葉のことを「自然言語」と言います。
パソコンで機械的にこの自然言語を解析することを「自然言語処理」と言います。
Pythonには自然言語処理を行えるライブラリにspaCyというライブラリがあります。
今回はこのspaCyを使って「無能翻訳機」を作ってみたいと思います。
(省略されました)
spaCyで「望遠鏡で~を見る」を解析する【自然言語処理, Python】
spaCyで「望遠鏡で~を見る」を解析する
日本人は日本語は話しますが、この日本語は「自然言語」にカテゴライズされます。
この自然言語をプログラム的に解析するのが「自然言語処理」です。
Pythonには自然言語処理を行えるライブラリspaCy(スパイシー)があります。
(省略されました)
spaCyのis_punctで句読点かどうか調べる【自然言語処理, Python】
spaCyのis_punctの使い方
自然言語処理ライブラリのspaCyのトークンにはis_punct
という属性があります。
この属性を参照すると、そのトークンが句読点かどうか判別することができます。
is_punct
のほかにもis_left_punct
やis_right_punct
がありますが、これらの使い方も合わせて解説します。
(省略されました)