天天視訊!小米新技術落地:能將圖片中的表格轉化成Excel文件
今天下午,小米創辦人雷軍介紹了小米自研的一套表格識別算法,該算法高效準確地將圖片中的表格轉化為可編輯的Excel文件,大幅提升使用體驗。表格識別是指將圖片中的表格結構和文字信息識別成計算機可以理解的數據格式,在辦公、商務、教育等場景中有著廣泛的實用價值,也一直是文檔分析研究中的熱點問題。
(資料圖)
訪問:
阿里云1核2G云服務器低至1折 最高可得500元滿減優惠券
訪問:
小米有品
圍繞這個問題,小米研發了一套表格識別算法,該算法高效準確地提取圖片中的表格,轉化為可編輯的Excel 文件。目前算法已經成功落地于小米10S系列、MIX Fold 2等旗艦機型,大家可以從相冊-更多-表格識別,或者掃一掃進入體驗。
表格檢測算法
小米表示,表格檢測算法主要是從圖片中準確的提取表格區域,并對表格進行矯正,得到平整的表格圖片以便下一步的表格識別;
表格識別算法主要是從圖片中提取表格結構和表格文字內容,然后將這些信息有效的結合在一起,輸出可編輯的Excel表格。
表格檢測有以下難點:一方面是手機上的算法和內存有限,另一方面是對表格檢測結果要求非常高,表格周圍往往包含其他文字,如果檢測結果不準,會對后面的識別結果造成負面影響。
小米的表格檢測算法會同時檢測到表格區域和表格的四個角點,通過透視變換和我們自研的抗扭曲算法得到只有表格區域的平整表格,效果如圖所示。
由于算法運行在手機端,需要保證運行速度和模型大小,小米采用了一個非常輕便的一階段檢測框架,backbone采用shuffleNetV2;
在檢測出表格框的同時,回歸出關鍵點信息,便于表格的透視矯正,并用Wing loss代替L1 loss讓關鍵點回歸更加準確;
數據方面,用算法低成本地從公開數據中挖掘大量表格檢測數據,顯著性地提高表格檢測效果。最終模型大小為1M左右,順暢地運行在小米手機上。
表格識別算法
表格識別算法在服務端運行,主要包含的模塊有:文本檢測、文本識別、表格結構預測、單元格匹配、對齊算法、Excel導出。
目前主流的方法是將表格用HTML的超文本表示,然后對HTML進行編碼,預測HTML序列和對應的坐標信息。
該方法在開源數據集上取得了不錯的效果,中國平安科技和百度也采用了這種方案,但是HTML 的標簽過多導致表格結構識別容易出錯。
針對該方法的不足,我們對表格采用全新的編碼方式,僅用四個標簽就能表示任意結構的表格,極大地提高了表格結構識別準確率。
表格識別在部署過程中,采用Fastertransformer推理框架進行加速,官方稱小米的推理速度提升了大約20倍,明顯改善用戶體驗。
總結
該算法能高效方便地從圖片中提取表格,極大地提高辦公效率。小米表示,工程師們將持續提升小米手機中文檔類圖片的識別體驗。
推薦
-
-
-
AT&T投資600萬美元推出數字素養計劃 預計有超過65000人受益
美國電信運營商AT&T計劃捐贈600萬美元,用于推動覆蓋全美范圍的數字素養計劃,預計有超過65000人受益于...
來源:人民郵電報 -
-
SpaceX用戶發出通知 將根據當地市場狀況下調費用最多可打五折
埃隆?馬斯克(Elon Musk)旗下太空公司 SpaceX 已經向世界各地的太空互聯網服務星鏈用戶發出通知,宣...
來源:網易科技 -
放棄老式登錄方式 Facebook母公司正式推出Meta賬戶
社交網絡巨頭 Meta正式推出了所謂的 Meta 賬戶和 Meta Horizon 個人資料。它們將被用來取代曾經用...
來源:網易科技 -
今年全球半導體資本支出將達1855億美元 再次實現兩位數增長
據知名半導體分析機構 IC Insights 發布的最新數據,顯示 2020-2022 這三年,將是自 1993-1995 ...
來源:愛集微 -
-
-
直播更多》
-
福建省工業和信息化廳召開專題會議 對全省無管機構下一步工作提出五點要求
近期,福建省工業和信息化廳召開專題會...
-
福建省工業和信息化廳召開專題會議 對全省無管機構下一步工作提出五點要求
近期,福建省工業和信息化廳召開專題會...
-
落實“一崗雙責”主體責任 新疆鐵塔構建安全生產管理體系
新疆鐵塔堅持管行業必須管安全、管業務...
-
保護個人信息沒有“討價還價”余地 工信部對227款APP提出整改要求
近日,依據《個人信息保護法》《網絡安...
-
在競標中擊敗LG 三星電機獲得特斯拉攝像頭模組大單
上月初曾有消息人士透露,三星旗下的電...
-
賦能農業現代化 5G為鄉村振興筑基注智
數字鄉村既是鄉村振興的戰略方向,也是...
資訊更多》
焦點
- 中俄邊境地區無線電頻率協調工作組及專家組會談 近日以線上視頻形式召開
- 浙江移動物聯網連接數突破1億 率先邁入萬物智聯時代
- 全力構建數據出境的“安全屏障” 9月1日起《數據出境安全評估辦法》正式施行
- 侵犯mRNA技術平臺核心專利 莫德納對輝瑞和BioNTech提起訴訟
- T-Mobile因泄密損失5億美元 其中3.5億美元將用于用戶賠償
- 數字政府市場規模保持高速增長 我國數字政府建設跑出“加速度”
- 中國信息通信研究院發布《中國存力白皮書》 梳理全球存儲產業發展現狀
- 取消讀秒設計 “新版”紅綠燈被罵上熱搜
- 電動汽車被排除出《通脹削減法案》 韓國政府通過多個渠道向美方表示擔憂
- 發揮央企“穩定器”作用 安徽電信翼支付平臺助力提振消費