見えない文字の検出・削除ツール

見えない文字に分類されるもの

この呼び名は、通常のテキストでは何も表示されない一群のUnicode文字を指します。このチェッカーは代表的なものを認識します。

• ゼロ幅スペース――U+200B。最もよく報告される見えない文字です。
• ゼロ幅非結合子・結合子――U+200CとU+200D。
• 双方向制御記号――U+200Eのような左から右・右から左のマーク。
• ソフトハイフン――U+00AD。必要になるまで隠れている改行のヒントです。

これらの見えない文字はいずれも正当なUnicode文字であるため、エディタやフォームが紛れ込みを警告してくれることはほとんどありません。

見えない文字が問題を引き起こす理由

見た目に痕跡が残らないため、見えない文字によるバグは苛立ちを通じて発見されることが多いです。原因の見えない文字を見つけるまで、症状はあり得ないことのように感じられます。

• 目で見る限り一致しているパスワードがログインで拒否される。
• 完璧に見える行でコードが構文エラーを起こす。
• スプレッドシートが1つの列を2つとして扱ったり、検索が失敗したりする。
• 実際に見えるテキストより文字数が多く表示される。

見えない文字を取り除けば、これらはすべて解決します。パーサーとあなたの目が、テキストの内容についてようやく一致するからです。

見えない文字とAIの電子透かし

一部のAIツールは、生成したテキストに見えない文字を埋め込み、隠れた識別信号として使う実験を行ってきました。検出ベンダーのOriginality.aiが指摘するように、この手法はコピー&ペーストを経ても生き残り、画面上はきれいに見えてもテキストと一緒に移動するために機能します。

この手法が標準になることはありませんでしたが、初期の試作が漏れ出たことで、盗用チェッカーやAIチェッカーは見えない文字が連続する箇所を疑わしいものとしてフラグを立てるようになりました。公開前にこれらを取り除いておけば、その曖昧さを解消でき、テキストは隠れたバイト列ではなく、書かれた言葉そのものによって判断されます。

見えない文字を削除する方法

手順は「貼り付けてスキャンする」というシンプルな流れだけです。見えない文字を見つけるのはチェッカーの仕事で、削除するかどうかはあなたが決めます。

1. 疑わしいテキストをこのページのボックスに貼り付けます。
2. ツールがスキャンし、見つかった見えない文字をすべて一覧表示します。
3. それぞれがどこにあったかをレポートで確認します。
4. ワンクリックで削除し、きれいになったテキストをコピーします。

チャットツールやPDF、Webページからコピーするたびにこのチェックを実行しましょう。これらは見えない文字が紛れ込む最も多い発生源だからです。

見えない文字を残すべき場合

隠れた文字がすべて間違いというわけではありません。見えない文字は正しい文脈では実際に役割を果たすため、このチェッカーは削除する前に必ず報告します。

• 右から左に書くスクリプトは、正しい文字順のために双方向制御記号を必要とします。
• ソフトハイフンは、ブラウザに適切な改行位置を伝えます。
• 一部の絵文字の組み合わせは、結合子でグリフを結合しています。
• 日本語や英語の平文であれば、ほとんどの場合は削除しても安全です。

目安はこうです。自分が意図的にそこへ見えない文字を置いたのでなければ、削除しておくのが安全な選択です。