[レベル: 上級]
AI が書いたコンテンツを検出するツールを 4つ、2 日前に紹介しました。
この記事では、リリースされたばかりの新しい AI コンテンツ検出するツールを紹介します。
ChatGPT を提供する OpenAI が開発したツールです。
AI Text Classifier と言います。
AI が書いた文章なのか人間が書いた文章なのかを分類
紹介済みの 4 つのツールと同じように、文章が AI によって書かれたものか、それとも人間によって書かれたものかを分類する機能を AI Text Classifier も持ちます。
実際に試しました。
ChatGPT に書かせた文章の検証結果です。
The classifier considers the text to be likely AI-generated.
テキストは AI 生成された可能性が高いとクラシファイアは判断しました。
AI コンテンツをきちんと判別しました。
僕が書いたブログ記事の検証結果です。
The classifier considers the text to be unlikely AI-generated.
テキストは AI 生成された可能性が低いとクラシファイアは判断しました。
僕の記事は AI が書いたものではないと判別されて一安心です。（笑）
もう 1 つ ChatGPT が作った文章の検証結果です。
The classifier considers the text to be possibly AI-generated.
テキストはおそらく AI 生成されたものだとクラシファイアは判断しました。
AI 生成かもしれないと判別してはいますが、確信度がやや落ちています。
次の 5 パターンで AI Text Classifier はテキストを分類します。
下にいくほど、AI 生成の確信度が高くなります。
- Very unlikely（AI 生成の可能性が非常に低い）
- Unlikely（AI 生成の可能性が低い）
- Unclear if it is（AI 生成かどうか不明）
- Possibly（AI 生成の可能性がある）
- Likely（AI 生成の可能性が高い）
AI Text Classifier の制限
認識しておくべき制限が AI Text Classifier にはいくつかあります。
精度
判別精度は必ずしも高くないようです。
OpenAI によれば、評価のための試験では、人間が書いたテキストの 9% を AI が書いたと判別してしまう偽陰性が発生したそうです。
ただ、僕が試した限りでは悪くない印象でした。
精度に関しては今後改善に取り組んでいくとのことなので期待が持てます。
英語を想定
英語テキストの検証を AI Text Classifier は想定しています。
英語以外の言語では精度が落ちる場合があります。
ただこちらも、僕が試した限りでは日本語でも機能しています。
1000 文字以上が必要
1,000 文字以上のテキストが検証には必要です。
1,000 文字というのは英語の話です。
およそ 150 〜 250 個の単語いなります。
日本語だとかなり長い文章が必要です（具体的に何文字になるかは調べていない）。
短いテキストを調べたいときは、裏技として、そのテキストを繰り返し入力すると受け付けてくれます（精度は当然下がるでしょうが）。
AI Text Classifier は、ChatGPT を開発した OpenAI が提供しているということで、最も信頼性が高いように個人的には感じます。
ChatGPT 以外の AI で生成されたテキストも検出可能です。