致力於亞太區市場的領先零組件通路商大聯大控股宣佈,其旗下友尚推出基於英特爾(Intel)NCS2神經計算棒的視覺系統方案,適用于智能機械手臂。
機械手臂是一種能夠靈活代替人類手和臂工作的機器,通常用以按固定程序抓取、搬運物件或操作工具的自動操作裝置。隨著機器視覺、AI等技術的不斷突破,智能機械手臂的發展也日益壯大。大聯大友尚基於Intel NCS2神經計算棒的視覺系統方案,應用於機械手臂中,可精准辨識物體,讓抓取、搬用等過程更加智能。
本方案的核心原理是利用D435辨識到彩色影像結合深度學習的物件定位算法YOLOv3找到物品位置(X,Y)。當CPU算力不足時,可使用Intel GPU或VPU(NCS2)加速計算,再通過D435辨識到深度影像所對應位置的深度(Z)訊息,即可實現讓機械手臂正確地伸到正確的空間位置(XYZ)夾取並抓取物品。
Intel NCS2是一款具有神經計算引擎的VPU(視覺處理單元),可提供比前一代產品高出八倍的性能。諸如Caffe,Tensor Flow或MXNet等深度學習神經網絡可以直接與NCS2上的OpenVINO工具包集成。並且這些機器學習框架還針對全新的深度神經網絡(DNN)推理引擎進行優化。借助電腦和Intel NCS2,開發人員可以快速啟動AI和計算機視覺應用的開發。
NCS2可在USB 3.0上運行,不需要其他硬體,從而使用戶能夠將其在電腦上訓練好的模型,無縫部署到各種邊緣設備而不需連網或連雲。無論是開發智能相機,具有手勢辨識功能的無人機,工業機器人,還是下一代智能家居設備,NCS2都能為開發人員提供快速原型所需的功能。
核心技術優勢:
- Intel RealSense D435 camera:
- 低成本的3D雙目深度相機;
- 提供完整SDK可以快速與系統整合;
- 可快速掃瞄,提供點雲資訊;
- 可透過ROS整合開發自主創新功能;
- 智能化3D物件辨識。
- Intel OpenVino Toolkit:
- 可最佳化訓練好的模型;
- 支援業界、學界常用的訓練框架;
- 可快速部屬到Intel的硬體平臺如CPU、GPU、VPU、FPGA;
- 提供常用的預訓練模型如SSD、YOLO等;
- 提供C++與Python的應用範例,縮短程式開發週期。
- Intel® Neural Compute Stick 2(Intel® NCS2):
- 在英特爾®Movidius™Myriad™X視覺處理單元(VPU)上提供卓越的每瓦每美元效能進行構建和擴展;
- 支援Windows®10,Ubuntu*或macOS*上快速開發;
- 在通用框架和開箱即用的範例應用程式上進行開發;
- 在不需連雲情況下進行操作;
- 在低成本的邊緣設備(例如Raspberry Pi*3和其他ARM*主機設備)端開發原型。
方案規格:
- 3D相機:Intel RealSense D435 Camera;
- 作業系統:Windows 10;
- Intel NUC Rugged Board with Core i3/i5 Processor;
- AI推論套件:Intel OpenVino Toolkit 2020.03;
- 內存:4GB以上;
- 傳輸界面:USB 3.0;
- 神經計算棒:Intel® Neural Compute Stick 2 (Intel® NCS2)。