Pythonで誤字脱字をチェックしたい
- 作成日: 2023-06-07
- 更新日: 2023-12-24
- カテゴリ: Python
Pythonで誤字脱字をチェックしたい
Pythonで誤字脱字をチェックする方法ってないんでしょうか。
今回はとりあえずspacyを使ってチャレンジしてみます。
$ pip install spacy ginza ja_ginza
以下のようなコードを書きます。
import spacy
nlp = spacy.load('ja_ginza')
doc = nlp('本日は聖典なり')
d = {}
for tok in doc:
d[tok.text] = True
print(list(d.keys()))
このようなコードを書いて実行すると以下の結果になります。
['本日', 'は', '聖典', 'なり']
上記のように単語に分割できるので、あとは目視で変な単語が無いかチェックすれば誤字脱字のチェックは行えそうです。
ためしにもっと長い文章を使ってみます。
import spacy
nlp = spacy.load('ja_ginza')
text = '''本日は聖典なり。いい気分なので外に出かけるが、あいにく飴が降ってきてしまった。
お陰で私はずぶぬれで嘉瀬を引いてしまいそうになる。どうしたもんか。
'''
doc = nlp(text)
d = {}
for tok in doc:
d[tok.text] = True
print(sorted(list(d.keys())))
['\n', '、', '。', 'あいにく', 'いい', 'お陰', 'か', 'が',
'き', 'し', 'しまい', 'しまっ', 'ずぶぬれ', 'そう', 'た', 'て',
'で', 'どう', 'な', 'なり', 'なる', 'に', 'の', 'は', 'もん',
'を', '出かける', '嘉瀬', '外', '引い', '本日', '気分', '私', '聖典', '降っ', '飴']
うーん、まあ単語を見ていけば「何だこの単語は？」と違和感を感じることはできますが、完全自動化で誤字脱字をチェックするのはなかなか難しそうですね。
単語の出現数の統計を取って、それで「出現率が低い＝誤字の可能性が高い」と見なせば以下のようなコードも書けます。
import spacy
nlp = spacy.load('ja_ginza')
text = '''本日は聖典なり。いい気分なので外に出かけるが、あいにく飴が降ってきてしまった。
お陰で私はずぶぬれで嘉瀬を引いてしまいそうになる。どうしたもんか。
'''
doc = nlp(text)
d = {}
for tok in doc:
if tok.text not in d.keys():
d[tok.text] = 1
else:
d[tok.text] += 1
lis = sorted(list(d.items()), key=lambda item: item[1])
for item in lis:
print(item)
('本日', 1)
('聖典', 1)
('なり', 1)
('いい', 1)
('気分', 1)
('な', 1)
('の', 1)
('外', 1)
('出かける', 1)
('、', 1)
('あいにく', 1)
('飴', 1)
('降っ', 1)
('き', 1)
('しまっ', 1)
('お陰', 1)
('私', 1)
('ずぶぬれ', 1)
('嘉瀬', 1)
('を', 1)
('引い', 1)
('しまい', 1)
('そう', 1)
('なる', 1)
('どう', 1)
('し', 1)
('もん', 1)
('か', 1)
('は', 2)
('に', 2)
('が', 2)
('た', 2)
('\n', 2)
('で', 3)
('て', 3)
('。', 4)
「聖典」は一回しか出てませんので誤字ってる可能性が高い？
しかし誤字った単語がよく使われてる単語だったらこの方法は使えませんね。
結論としてはPythonでAIを使わずに誤字・脱字を検出するのはけっこうムズイ、ということが言えると思います。
ChatGPTなんかを使えば検出してくれそうですけどね。
PythonでChatGPTのAPIを使って誤字・脱字を検出するスクリプトを作る、ということなら可能だと思います。
しかしAPIは今のところ有料ですのでそういう意味ではChatGPT3.5のプレイグランドで誤字・脱字を見つけてもらうのが現実的かもしれません。