AI Corner Desktop Banner

比賽作品

2024香港資訊及通訊科技獎設有八個類別的獎項。每個類別均設有一個大獎,而最終評審委員會會再從八個大獎中甄選出「全年大獎」。為了激發更多人工智能的創新應用,每個獎項類別都會增設一個嶄新獎項:「最佳人工智能應用」獎,以彰顯並表揚那些在相關範疇應用人工智能方面取得傑出成就的參賽作品。

 

教城獲政府資訊科技總監辦公室正式委任為 2 0 2 4香港資訊及通訊科技獎:學生創新獎的籌辦機構。學生創新獎涵蓋小學、初中、高中、大專及高等教育四個組別。通過採用創新策略和最佳作業方式,教城期望推動獎項的創新,營造一個鼓勵學生突破界限、跳出框架的環境,最終推進ICT行業的發展。

 

作品一:以聲知形-基於人工智能的口述影像生產輔助工具

學生創新(大專及高等教育)金獎

香港資訊科技學院(曾順天 / 何樂言 / 何卓軒 / 陳嘉穎)

以聲知形是一款基於人工智能的口述影像生產輔助工具,旨在簡化口述影像的製作過程。以聲知形基於人工智能的影片分析、腳本創作輔助和文本轉語音轉換功能,利用在多樣化數據集上訓練的機器學習模型,保證高質量的口述影像描述。此外,以聲知形集成了雲端基礎設施,以實現可擴展和高效的處理,並提供用戶友好的移動和網絡應用界面,支持無縫的影片上傳和腳本編輯。項目還融合了無障礙功能,包括語音控制並與iOS設備上的Siri兼容,提高了包容性和易用性。

以聲知形的主要功能包括:

  1. AI 視訊無障礙評估:可評估視訊內容的無障礙程度,並檢查是否有暴力或露骨內容等敏感資訊。
  2. AI 電影場景分析:自動分解和組織場景訊息(空間佈景、人物表情、動作等),確保快速準確地提供結果。
  3. AI 腳本撰寫輔助:協助口述者生成精確有效的語音說明腳本,加快脚步編寫過程以提升效率。
  4. AI語音影片生成:結合語音和圖像技術,支援多種語言和語音風格,確保旁白清晰自然。此外,該平台還包括語音重疊檢查,以確保背景聲音和語音描述不會相互干擾。

全球有2.85億失明或視障人士,單在香港就有20萬視障人士,對口述影像服務有龐大需求。以聲知形令使用者能輕鬆上傳、播放及編輯影片與腳本,提升視障人士的觀賞體驗,讓視障人士也能存取和欣賞視覺內容,促進社會包容性和資訊的平等存取,讓每個人,不論其視覺能力如何,都能享受並參與豐富的視覺媒體世界。

Previous slide
Next slide

作品二:基於人工智能的即時手語翻譯應用程式 -手語通

學生創新(大專及高等教育)銀獎

香港科技大學(李焯森 / 蘇顥萌 / 黃皓亮)

世界衛生組織確認全球超過5%的人口需要聽力障礙復健。在香港,每 3,000 名聾啞人士才有一名手語翻譯員,對即時手語翻譯服務的需求相當殷切。

HandsTalk是一個透過AI驅動的即時手語翻譯的手機通訊應用程式,旨在消除手語使用人士的溝通障礙,讓手語使用者無需使用任何特殊裝置,也可以在沒有中介的情況下直接溝通。這個應用程式利用先進的AI模型、電腦視覺技術和生成式AI,無縫地將手語翻譯成英語。用戶可以在即時場景、視頻通話等情境下使用。

針對手語翻譯,HandsTalk設計了一個新穎的句子完成功能,涉及精確的單字選擇,以協助編寫單字和短語清單。此應用也能辨認不同的指示手勢,例如「問號」、「空格」和「刪除」,增強生成句子的靈活性。之後,生成式AI會從翻譯的單字和短語創造出連貫的句子。這個過程通常不超過 2 秒鐘,相當於傳送文字訊息或說話。此方法可有效解決即時手語翻譯中的各種挑戰,例如句子翻譯錯誤和無法預測的使用者動作,準確傳達出用戶預期的含義,讓用戶能夠自信地溝通,彌合手語和口語之間的鴻溝。

HandsTalk的手語翻譯可面對面即時使用,也可在視訊通話時使用。

  1. 即時翻譯:使用即時翻譯時,將攝影機面向手語使用者以進行翻譯。
  1. 視訊通話翻譯:視訊通話時,手語會翻譯成文字,語音也會轉換成文字。這可讓手語使用者和非手語使用者在同一頻道中無縫溝通,沒有任何障礙。

未來,只要有高品質的資料集,此方法可擴展至任何類型和語言的手語。除此之外,使用者也可以在應用程式中存取手語影片和圖片,以進行示範和學習,並使用手語翻譯功能評估自己的進度。

Previous slide
Next slide

作品三:藥倍安心(Medisafe)

學生創新(初中)金獎 及 學生創新最佳人工智能應用獎

聖保羅男女中學(潘浠淳)

研究數據顯示,藥物處方失誤每年導致數百萬人受到傷害甚至死亡,並引致非常沉重的經濟損失。在香港,醫生處方藥物失誤而引起嚴重醫療事故的新聞也屢見不鮮,主要原因有二。其一,醫生多為專科,未必掌握所有藥物的細節及最新資訊;其二,醫生工作繁忙,需要在短時間內處理大量病人,不可能在處方前搜尋每種藥物的資訊,再加上精神壓力,難免偶有疏忽。

近年,隨着人工智能的發展,利用人工智能核對藥物處方或可有效減少醫療失誤,Medisafe正是為此而生。

Medisafe是一款網頁型人工智能軟體,能夠透過交叉檢查藥物資料庫的藥物資訊與病患資料庫的相關臨床資訊,根據病人的藥物過敏史、長期服用藥物史及臨床情況如肝、腎功能等,自動核對藥物處方,並偵測潛在錯誤。若發現藥物處方或劑量跟病人藥物史或臨床情況有抵觸,會實時發出警示,提醒醫生或藥劑師更改處方。

Medisafe 的保障涵蓋了醫生常見處方錯誤的五個方面:

  1. 當已知對某種藥物過敏的病人被處方相同的藥物或同類別的交叉敏感藥物時,偵測並標示警示。
  2. 當處方的藥物與病人目前正在服用的藥物有已知的不良相互作用時,提供警示和替代建議。
  3. 提供藥物劑量、給藥途徑或頻率錯誤的警示,並檢查藥物劑量是否適合患者的年齡或體重,必要時建議正確的劑量。
  4. 將藥物與病患的肝腎功能相匹配,查看是否可以處方該藥物,以及是否需要根據肝腎功能調整劑量。
  5. 檢查處方的藥物對特殊狀況的病患如懷孕、哺乳、乙型肝炎帶菌者是否安全。

Medisafe 利用 Microsoft Azure Open AI 篩選藥物處方,整合病患臨床資料與具有全球認受性的三大線上藥物資料庫(RxList、Drugs.com、WebMD)。資料庫非常全面,包含詳細的藥物資訊、可能導致藥物過敏的同類藥物、藥物與藥物之間的交互作用、與年齡、體重、腎功能或肝功能損傷有關的所需劑量調整,以及某些藥物在特殊情況如懷孕和哺乳下的禁忌,確保每次查詢都準確針對病患的臨床狀況。

此軟體經過醫生測試,並證實能有效且精確地篩選出涉及不同情況 (包括多重錯誤) 的藥物處方錯誤,對病人的安全以及使用 AI 技術改善醫療保健產生重大的正面影響。開發完成後,不僅香港,全球的私營和公營診所及醫院都可以使用。

利用人工智能作為處方藥物的把關人,將有助於紓緩世界各國面對的醫護人手短缺問題。憑藉AI 高速的自動檢查, Medisafe能在短時間內幫助繁忙的醫院和診所處理大量處方。聯網的性質意味它可以連接不同的部門或醫院,為在各處接受治療的同一個病人提供準確的AI輔助。軟體開發完成後,在給予醫師警示時,也會提供藥物的最新資訊,讓醫生在開藥時學習。

香港特區政府計劃在不久的將來成立香港的藥物審批機構,並推動香港成為新藥試驗的國際中心。未來,期望Medisafe可與香港藥物監管機構的資料庫連結,為香港的新藥開發與本地及海外病人的臨床使用架起橋樑。

Previous slide
Next slide