Kategoriak: All - 功能 - 技術 - 心得

arabera 羿潤 謝 2 years ago

147

2022發明展(藍子閎, 謝羿潤)

這次的發明展展示了兩位創作者在疫情期間的靈感,推出了一款不需接觸物體即可操作的設備。此設備包括虛擬按鈕模式和浮空手寫模式,讓使用者可以通過手勢控制來輸入指令,達到減少接觸公共物品的效果。技術上,這款設備運用了PyQt5、openCV、MediaPipe、TensorFlow / Keras、PyGame和Python等多種工具,實現了手部和數字的精確辨識。創作者在設計過程中不斷改進,從最初的幾行程式碼到最終的七八百行,展現了他們對技術的掌握和創作的熱情。

2022發明展(藍子閎, 謝羿潤)

2022發明展(藍子閎, 謝羿潤)

未來展望

軟體
其他

語音控制?

重新設計語音

鍵盤

確認輸入按鈕

新語言

增加其他語言

中文

英文

提高UI順暢度

降低延遲

設計新UI(硬體版)

提高手寫辨識率
硬體
螢幕
減少鏡頭寬度
整合JETSON NANO

功能

模式
虛擬按鈕模式

下比手勢移動橘色小點,移動到想案的按鈕上後,伸出中指按下。

浮空手寫模式

比出下比手勢開始記錄軌跡,寫完之後,比出中指辨識,如果辨識及果正確就收回中指,不正確就不收回中指。

介面
軌跡顯示區

顯示目前使用者畫出的軌跡

電梯模擬區

模擬左方輸入數字後電梯的運作

設定區

接換手寫、按鈕模式

鏡頭視窗

讓使用者可以看見自己的手在鏡頭的哪個位置

技術

PyGame
PyQt5
TensorFlow / Keras
openCV
MediaPipe
Python

創作動機與目的

目的
傳輸資料
長距離開關機器
減少接觸公物
創作動機
因為疫情 很多人因為接觸感染而確診 難免覺得恐懼

希望可以達到不接觸任何物品即可輸入訊息的效果

創作歷程

一開始藉由疫情 想到接觸感染的風險便想出希望做出 "不接觸的寫字板"不過單單只有手寫模式 有些缺點將慢慢浮現於是確認手寫模式的核心技術後便在實際安裝的同時 尋找第二種模式 "按鈕模式"同為不接觸 不過是按按鈕再連按鈕模式的核心技術一起確認後便開始製作UI介面 提供使用者視/聽覺效果以便使用及發明展講解

心得

謝羿潤
這次真的是第一次比這種開放性的比賽,過程中也學到以前比賽中沒學到的新事物。特別是程式的部分,從一開始的幾行最最最基本的到後面整個資料夾,令外還有TensorFlow的部分,真的複雜呀。不過看到最後那幾百行的程式碼以及最後的介面、功能都很完善,就覺得很開心~~
藍子閎
從一開始做作品時 比較沒有接觸臉部以外的偵測 趁著這次機會總算更拉遠自己視野 從手部辨識 數字辨識 再到以後要做的硬體 也因為我們有努力準備比賽 所以有得名是真的滿開心的 也感覺到作品從一個小視窗 變成一個UI 到比賽前的最終程式碼 從15行程式 變成七八百行 是非常有成就感的 很開心有這樣的比賽

這次的問題

4.使用方便化
3.減少程式延遲
2.手勢辨別部分做改善
1.手寫模式辨識率