« Office365・Google Apps(ベータ)をSalesforceとLightningで連携しようセミナーをきいた! | メイン | Dreamforce16-3日目(Product Keynote) »

2016年12月 2日 (金)

Tesseract.js☓Salesforce1で名刺情報を読み込ませてみた

こんにちは、なかやまです。

このブログはSalesforce App Cloud Advent Calendar 2016の2日目のエントリです。

 

Img_1371

今回はDreamforce 2016のセッションで見かけた、Tesseract.jsとSalesforce1を組み合わせた画像認識を試してみます。セッションの動画やスライドが見つからなかったため、手元にある写真を元に試してみました。

<Extracting Text From Images using a Computer Vision API>

Tesseractjs_sample


■セッションで見たもの

Img_1370

1.カンファレンスなどで名刺交換する

2.お別れした後に、Salesforce1に名刺を保存する

3.名刺から自動でテキスト化してくれるので、変換間違いのところを手修正する

4.保存したら、メールアドレスにありがとうメールが送信される

名刺情報からはテキストが出てくるので、それを正規表現でマッチさせて各項目にいれていくそうです。

 

■今回試すこと

Tesseract.jsは画像の文字認識がJavascriptで実現できるもの。です。日本語の認識はできるのかしら、英語でもそれなりの精度かしら。試してみたいと思います。

・Tesseract.jsを使って画像認識

・Salesforce1からの写真を利用

・Dreamforceで見たデモを作ってみる

 

 

■やってみました

Salesforce1で使う前に、PC画面から確認してみる。

・日本語変換できるよ

 このぐらいの画像だと、7秒ぐらいで変換完了

Photo

 

・画像サイズによって読み取り精度かわる?フォントサイズを変えてみよう

2スマホで撮影した画像だと、かなり大きいサイズだと思うのでそれなりには認識されそう。しかし、英数字が残念な感じ。

 

・英語変換してみる

精度が高いです!

4

 

実装はこんな感じ

5

 

画像URLを見て気付いたかもしれませんが、ドキュメントが外部公開されていないとtesseract.jsでの読み込み時にエラーが出て処理が進みませんでした。

Photo_3テキスト変換するための引数にCanvasがあったので、よしCanvasに貼り付けた画像を読みこませればいけるんじゃない?と試したところ。そのCanvasはcross-origin dataで汚染されてるぜ、的なメッセージを頂きまして、時間切れとなりました。画像のurlとjavascriptのurlこの辺が解決できれば画像を外部公開しなくても変換できそうですね。

 

うーん。

結果、使いにくい。。 

セッションは英語だったので、注意事項をお話していたのかもしれませんが、上手く聞き取れずこのような結果になりました。英語の変換は何かに使えそうです。

  

■参考

デモで紹介してたURLです。

・正規表現確認 (http://scriptular.com/)

・SingleEmailMessage Methods (http://sforce.co/2dugPjQ)

・Tesseract.js (http://tesseract.projectnaptha.com)

 

 

 

Salesforce App Cloud Advent Calendar 2016の2日目でした。

↑まだ空きがあるので、よければエントリーしてください〜

トラックバック

このページのトラックバックURL:
http://bb.lekumo.jp/t/trackback/493401/34009651

Tesseract.js☓Salesforce1で名刺情報を読み込ませてみたを参照しているブログ:

コメント

コメントを投稿

コメントは記事の投稿者が承認するまで表示されません。

採用情報

株式会社フレクトでは、事業拡大のため、
・Salesforce/Force.comのアプリケーション開発
・HerokuやAWSなどのクラウドプラットフォーム上
でのWebアプリケーション開発
エンジニア、マネージャーを募集中です。

未経験でも、これからクラウドをやってみたい方、
是非ご応募下さい。

フレクト採用ページへ

会社紹介

  • 株式会社フレクトは、
      ・認定コンサルタント
      ・認定上級デベロッパー
      ・認定デベロッパー
    が在籍している、セールスフォースパートナーです。
    また、heroku partnersにも登録されています。
    herokuパートナー
    株式会社フレクト
    Salesforce/Force.com
    導入支援サービス
    弊社の認定プロフェッショナルが支援致します。
    ・Visualforce/Apexによるアプリ開発
    ・Salesforceと連携するWebアプリ開発
    も承っております。
    セールスフォースご検討の際は、
    お気軽にお問合せください。

Twitter

リファレンス

■Developer's Guide(リファレンス)
・Apex  HTML | PDF | 日本語PDF | ガバナ制限
・Visualforce  HTML | PDF
・Web Services API  HTML | PDF | 日本語PDF
・Bulk API  HTML | PDF
・REST API  HTML | PDF | 日本語PDF
・Metadata API  HTML | PDF
・Migration Tool  HTML | PDF
・AJAX Toolkit  HTML | PDF
・Data Loader PDF | 日本語PDF

■早見表 (日本語)
数式
Apex
Visualforce
Web Services API
Chatter