Janomeでマルコフ連鎖

自然言語とは私たちが使う言語のことを言います。
これの解析を自然言語処理と言います。

自然言語処理の工程には字句解析（形態素解析）という工程がありますが、これは文章を単語の列に分割する解析です。
有名な字句解析器にはJUMAN++, ChaSen, MeCabやJanomeなどがあります。

（省略されました）

AIを作りたい

AIを作りたいんですが、AIは技術的要件が大きいので中々難しいところがあります。
しかし自然言語処理でユーザーの入力を解析して、その解析に対して出力を出すといったことは、非常に小さいものから制作可能です。

今回はPythonの自然言語処理ライブラリであるspaCy（スパイシー）を使って無能AIを作ってみたいと思います。

• spaCy · Industrial-strength Natural Language Processing in Python

（省略されました）

spaCyで無能翻訳機を作る

私たちは言葉を使ってコミュニケーションを取りますが、この言葉のことを「自然言語」と言います。
パソコンで機械的にこの自然言語を解析することを「自然言語処理」と言います。

Pythonには自然言語処理を行えるライブラリにspaCyというライブラリがあります。
今回はこのspaCyを使って「無能翻訳機」を作ってみたいと思います。

（省略されました）

spaCyで「望遠鏡で～を見る」を解析する

日本人は日本語は話しますが、この日本語は「自然言語」にカテゴライズされます。
この自然言語をプログラム的に解析するのが「自然言語処理」です。

Pythonには自然言語処理を行えるライブラリspaCy（スパイシー）があります。

• spaCy · Industrial-strength Natural Language Processing in Python

（省略されました）

spaCyのis_punctの使い方

自然言語処理ライブラリのspaCyのトークンにはis_punctという属性があります。
この属性を参照すると、そのトークンが句読点かどうか判別することができます。
is_punctのほかにもis_left_punctやis_right_punctがありますが、これらの使い方も合わせて解説します。

• Token · spaCy API Documentation

（省略されました）