機能の特徴

iPhoneは機能として、撮影した写真に写っている文字を認識することが可能です。
文字として認識することができる為、写った文をコピーしたり翻訳することが出来ます。
さらに電話番号が写っている場合は電話を掛ける事も。

IT用語としてはOCRという言い方で映像中の文字を光学的に認識し、デジタルデータの文字へ変換するソフトウェアの分類があります。

コンピューターは本来、テキストファイル等は文字を画としてではなく、文字コード（プログラム）で認識しているので、写真等の映像データに文字が写っていてもドットの集合で画像の一部としての模様でしか有りませんでした。
その映像の中の文字をソフトウェアで一文字づつ画像から識別処理し、テキストデータとして扱えるように変換するソフトフェアがOCR（光学文字認識）です。

対応OSと機種

iPhoneでは撮影した写真のほか、インターネット上でみつけた画像の中の情報も認識することが出来ますが、この機能が使える端末には対象となる機種が限定されています。

iPhone
OSはiOS15以降
機種はiPhoneXs、XR以降

iPad
OSはiOS15.1以降

機種はiPadPro12.9インチ(第3世代移行）
iPadPro11インチ（全モデル）
Pad Air (第3世代以降)
iPad (第8世代以降)
iPadmini(第5世代以降）

※ビデオでの文字認識はそれぞれIOS16以降で使用可能となります

関連：iPhone や iPad で写真の中のテキストをコピーおよび翻訳する(Apple公式アナウンス）

使い方

使い方は簡単です。

まず、一般的なシーンとして検索や文字入力時に画像からテキストを入力させる方法。

入力範囲を一度タップすることでカメラが起動、テキストを読み取ることが出来ます。
読み方が分からない外国語の単語、入力が面倒なアドレス、Wi-Fiのパスワード入力という場面で特に活用できます。

　

もう一つは画像から文字を読み取る使い方があります。

iPhoneのカメラで撮影した写真です。　OSが対応している場合、ビデオでも一時停止して使用可能です。
また、ネット上の画像でも同様の機能が使用できます。

文字を認識する正確さに関してもかなりの精度が期待できます。

画像化されておりテキストとしてコピーできない状態のファイルや、物理書籍であってもカメラによりテキストを選択できるようになるため、資料の引用や保存というシーンで非常に便利だと言えます。
教育シーンでは板書を写真で保存してしまう方法がありましたが、写真からテキストへ抽出してまとめる事も可能に。

どこまで正確？　VS手書き　VSクセ字

文字認識の精度は高いと感じます。
ただしオンラインやタイプされたテキスト（フォント）であれば書体がそもそも可読性に配慮されている為、条件としては理想的な条件であるとも言えます。

そこでスタッフの手書き文字や古文書におけるくずし字を認識できるかもテストしてみます。

画像はオンラインよりダウンロードを行い、写真から観覧して機能を試します。
テキストをコピーしたものをメモ帳にベタッと貼り、結果の検証とします。

VS　標準的明朝体

文句なし。「な」行で何故か「い」が検出されていますが精度は十分そうです。
この精度を評価のベースとしたいですね

VS　手書き

ちょっと汚い字、ぐらいだと精度は落ちますが十分実用範囲と言えるかもしれません。

横書きにしていますが、縦書きだと文字の構成が破綻したためです。
縦書き文字列には弱いと言えそうですが、これはそもそも縦書きが世界的に見ると一般的ではないという事情があるかもしれませんね。

VSくずし字

コチラは古文書よりくずし字をピックアップしてフォント化する試みを行っている所よりお借りしてテストします。

くずし字でも比較的識字が用意な方だと言えそうですが、画像認識の時点で苦戦が見られます。
白くハイライトされている部分はシステムによって文字として画像から検出出来ているものですが、検出できていないものもそれなりにある事が見て取れます。

人間でも読みやすいあ行とか行にしぼりましたが、実際の検出精度においても結果は良くない様子です。
文字の検出にはディープラーニング等もAI学習技術が使われていると考えられますが、古文書のくずし字を対象としたデータ学習がなされていなくても不思議は有りません。

日本の歴史文書までカバーされるとそれはそれでおもしろそうです。

古文書の電子化は、文書の解読→書き下し（テキスト化）という作業が歴史ファンのトレーニングや資料の保存プロジェクトとして実行される事があります。まだまだ人間による読解の必要性が高そうですね。

その他のお役立ちアプリ（翻訳）

カメラで読んだ文字を認識する機能を紹介してきましたが、類似の機能を持つアプリとして、Googleの提供する翻訳アプリもおすすめです。
カメラを起動した状態で写ったものをリアルタイムで翻訳、表示させる機能を持っています。
こちらはインストールすると先述の対応機種以外のより古い端末でも文字の読取り機能を使用することが出来ます。

入れておくと便利な事もあるかもしれないオススメアプリです。
筆者は輸入製品や海外ブランド製品の説明書を読むときに活用することがあります。

iPhone/iPad買取情報

文字認識対応なiPad iPhoneは当店でも高価買取中
お持ちの方はぜひ当店の利用をご検討下さい

※価格は投稿日のものです。

iPadAir3　Wi−Fi

64GB　【美品】〜33,000円　【使用感有り】〜30,00円

256GB 　【美品】〜38,000円　【使用感あり】〜35,000円

iPhoneXs

64GB　【美品】〜25,000円　【使用感有り】〜22,000円

256GB　【美品】〜27,000円　【使用感有り】〜24,000円

512GB　【美品】〜28,000円　【使用感有り】〜25,000円

iPhoneXR

64GB　【美品】〜21,000円　【使用感有り】〜18,000円

128GB　【美品】〜25,000円　【使用感有り】〜22,000円

256GB　【美品】〜27,000円　【使用感有り】〜24,000円

文：玉谷