單元1:開始在Azure上使用AI
什麼是 AI?
簡單來說,AI 是指建立軟體來模仿人類行為與能力。 主要項目包括:
- 機器學習 - 這通常是 AI 系統的基礎,且是「指導」電腦模型進行預測並從資料中得出結論的方式。
- 異常偵測 - 自動偵測系統中錯誤或異常活動的功能。
- 電腦視覺 - 透過相機、影片和影像,以視覺方式解讀世界的軟體功能。
- 自然語言處理 - 電腦解讀書寫或口語語言,並以同樣方式回應的能力。
- 交談式 AI - 軟體「代理程式」參與交談的功能。
機器學習的運作方式
機器如何學習? - 答案是透過資料。
Azure Machine Learning 提供下列功能和能力:
功能 | 功能 |
---|---|
自動化機器學習 | 這項功能可讓非專家從資料快速建立有效的機器學習模型。 |
Azure Machine Learning 設計工具 | 一種無需程式碼即可進行機器學習解決方案開發的圖形化介面。 |
資料和計算管理 | 專業資料科學家可用來大規模執行資料實驗程式碼的雲端式資料儲存體和計算資源。 |
管線 | 資料科學家、軟體工程師和 IT 營運專家可定義管線來協調模型定型、部署和管理工作。 |
了解異常偵測
您可使用「異常偵測」來解決這類案例,這是一種機器學習技術,可分析一段時間的資料,並找出異常變化。在 Microsoft Azure 中,Anomaly Detector 服務會提供應用程式開發介面 (API),讓開發人員用來建立異常偵測解決方案。
了解電腦視覺
Seeing AI 應用程式是展現電腦視覺強大能力的絕佳範例。 Seeing AI 應用程式是專為視障和弱視社群所設計,其利用 AI 功能來開啟視覺世界並描述附近的人物和文字。
電腦視覺模型和功能
工作 | 描述 |
---|---|
影像分類 | 影像分類需要定型機器學習服務模型,以根據影像的內容來分類影像。 例如,在交通監視解決方案中,您可使用影像分類模型,根據其所包含的車輛類型 (例如計程車、公車、腳踏車等) 來分類影像。 |
物件偵測 | 定型物件偵測機器學習模型以分類影像中的個別物件,並使用週框方塊來識別其位置。 例如,交通監視解決方案可能會使用物件偵測來識別不同車輛類別的位置。 |
語意分割 | 語意分割是一種進階機器學習技術,其中影像的個別像素會根據其所屬的物件進行分類。 例如,交通監視解決方案可能會使用「遮罩」層來將交通影像重疊,以使用特定色彩來醒目提示不同的車輛。 |
影像分析 | 您可建立結合機器學習模型與進階影像分析技術的解決方案,從影像擷取資訊,包括可協助分類影像的「標籤」,或甚至是摘要影像中所示場景的描述性標題。 |
臉部偵測、分析和辨識 | 臉部偵測是一種特殊形式的物件偵測,可找出影像中的人臉。 這可與分類和臉部幾何分析技術結合,以推斷年齡和情緒狀態等詳細資料;甚至可根據其臉部特徵來辨識個人。 |
光學字元辨識 (OCR) | 光學字元辨識是用來偵測和讀取影像中文字的技術。 您可使用 OCR 來讀取相片中的文字 (例如道路標誌或店面),或從掃描的文件 (例如信件、發票或表單) 擷取資訊。 |
了解自然語言處理
NLP 可供建立軟體,以便:
- 分析和解讀文件、電子郵件訊息及其他來源中的文字。
- 解譯口語語言,並合成語音回應。
- 自動翻譯不同語言的口語或書寫片語。
- 解譯命令並判斷適當的動作。
了解交談式 AI
AI 的挑戰和風險
| 挑戰或風險 | 範例 | | —- | —- | | 偏差可能會影響結果 | 貸款核准模型因為其訓練資料有偏差而有性別上的差別待遇 | | 錯誤可能造成傷害 | 自動駕駛汽車遇到系統故障而導致車禍 | | 資料可能遭到公開 | 醫療診斷 Bot 會使用敏感的患者資料進行訓練,而這些資料並未安全地儲存 | | 解決方案可能不適用於所有人 | 家庭自動助理不會針對視覺受損的使用者提供音訊輸出 | | 使用者必須信任複雜的系統 | 以 AI 為基礎的財務工具會提出投資建議,這些工具以什麼為依據? | | 誰應該對 AI 驅動的決策負責任? | 無辜的人因為來自臉部辨識的證據而被判有罪 – 這是誰的責任? |
了解負責任的 AI
- 公平性
- 可靠性和安全性
- 隱私權和安全性
- 包容性
- 透明度
- 權責
題目
您想要定型一個模型,其根據自有數位相片集合來分類狗和貓的影像。 您應使用哪一項 Azure 服務?
ANS:自訂視覺。單元2:使用視覺化工具搭配Azure Machine Learning建立機器學習模型
模組1 - 在Azure Machine Learning 中使用自動化機器學習
Azure Machine Learning 是一種雲端服務,可供用來定型和管理機器學習模型。什麼是機器學習服務?
機器學習是一種技術,其使用數學與統計來建立可預測未知值的模型。題目
- 汽車經銷商想要使用汽車銷售的歷史資料為機器學習模型定型。 此模型應該會根據車子的品牌、車款、引擎大小及里程數來預測中古車的價格。 經銷商應該要使用自動化機器學習來建立哪一種機器學習模型?
ANS:回歸。
回歸的應用領域如:股票走勢預測、不同時段的交通狀況、原物料價格變化對消費的影響…
2. 銀行想要使用貸款償還的歷史記錄,根據貸款金額、借款人的收入以及貸款期限等特性,將貸款申請分類為低風險或高風險。 銀行應該要使用自動化機器學習來建立哪一種機器學習模型?
ANS:分類。
分類的應用領域如:垃圾郵件偵測、文章分類、語種偵測。
3. 您想要使用自動化機器學習來進行定型,以取得具有最佳「R2 分數」的迴歸模型。 您應該如何設定自動化機器學習實驗?
ANS:將主要計量設定為R2分數。模組2 - 使用Azure Machine Learning 設計工具建立回歸模型
題目
- 您正在建立迴歸模型的定型管線,且正在使用的資料集具有多個數值資料行,而這些值使用不同的量表。 您想要轉換這些數值資料行,使所有值都能以與各資料行有關的最小值和最大值為基礎位於近似量表上。 您應該在管線中新增哪個模組?
ANS:正規化資料
2. 為什麼我們要將資料分割成定型集和驗證集?
ANS:將資料分成兩個集合能讓你比較模型預測的標籤和原始資料集中的實際已知標籤。模組3 - 使用Azure Machine Learning 設計工具建立分類模型
分類是一種受監督的機器學習技術,可用來預測種類或類別。評估指標
- 精確度:正確預測 (確判為真 + 確判不為真) 與預測總數的比率。 換句話說,模型正確預測糖尿病的比例為何?
- 精確度:正確識別陽性案例的比例 (確判為真的數目除以「確判為真加上誤判為真」的數目)。 換句話說,在該模型預測為有糖尿病的所有患者中,有多少個是真正的糖尿病患者?
- 召回率:識別為陽性、且確實屬於陽性案例的比例 (確判為真的數目除以「確判為真加上誤判不為真」的數目)。 換句話說,在實際上有糖尿病的所有患者中,模型識別出多少個?
- F1 分數:本質上會結合精確度和召回率的整體計量。
題目
- 您使用 Azure Machine Learning 設計工具建立二元分類模型的訓練管線。 您已新增包含特徵與標籤、「二級決策樹系」模組和「定型模型」模組的資料集。 您打算使用「評分模型」和「評估模型」模組,來測試有部分資料集未用於訓練的定型模型。 您應額外新增哪一種模組?
ANS:分割資料。使用分割資料模組,將資料集隨機分割成定型和驗證子集。
2. 您使用 Azure Machine Learning 設計工具管線來定型和測試二元分類模型。 您在「評估模型」模組中檢閱了模型的效能計量,並注意到其 AUC 分數為 0.3。 您對模型可歸納出何種結論?
ANS:模型的效能比隨機猜測還差。 AUC 為 0.5 是您對二元模型隨機預測的預期。
3. 您使用 Azure Machine Learning 設計工具來建立分類模型的訓練管線。 將模型部署為服務之前,必須先做什麼?
ANS:從訓練管線建立推斷管線。模組4 - 使用 Azure Machine Learning 設計工具建立叢集模型
「叢集」 是機器學習的一種形式,用來根據特徵將類似項目分組為叢集。 例如,研究人員可能會進行企鵝的測量,並根據其比例中的相似性來進行分組。題目
- 您要使用 Azure Machine Learning 設計工具管線來定型和測試 K-Means 叢集模型。 您想要讓模型將項目指派給三個叢集的其中一個。 您應該設定 K-Means 叢集模組的哪一個組態屬性來完成這項作業?
ANS:將距心數目設為 3。若要建立 K 個叢集,您必須將距心數目設為 K。
2. 您使用 Azure Machine Learning 設計工具來建立叢集模型的訓練管線。 現在您想要在推斷管線中使用模型。 您應該使用哪一個模組來推斷模型中的叢集預測?
ANS:將資料指派給叢集。使用「將資料指派給叢集」模組,從定型的叢集模型產生叢集預測。
單元3:探索 Microsoft Azure 中的電腦視覺
對於 AI 應用程式,影像只是像素值陣列。 這些數值可作為「特徵」來定型機器學習模型,以進行影像及其內容的預測。
適用於電腦視覺的 Azure 資源
電腦視覺:適用於電腦視覺服務的特定資源。
認知服務:一般的認知服務資源包含電腦視覺及許多其他認知服務,例如文字分析、翻譯工具文字及其他。
無論選擇建立哪種類型的資源,您都會獲得使用資源所需要的兩項資訊:
- 金鑰,其用來驗證用戶端應用程式的。
-
自訂視覺的 Azure 資源
您可使用下列類型的資源:
自訂視覺:自訂視覺服務的專用資源,其可為「定型」或「預測」資源,或「兩者皆是」。
認知服務:包含自訂視覺及許多其他認知服務的一般認知服務資源。 您可使用這種類型的資源來進行「定型」和/或「預測」。(只需要關注一個「端點」(裝載服務的 HTTP 位址) 和「金鑰」)
模型評估
精確度:模型正確進行類別預測的百分比為何? 例如,如果模型預測 10 張影像為橙色,而其中 8 張真正是橙色,則精確度為 0.8 (80%)。
- 召回率:模型正確識別類別預測的百分比為何? 例如,如果有 10 張蘋果影像,而模型找到其中 7 張,則召回率為 0.7 (70%)。
- 平均精確度 (AP):同時將精確度和召回率列入考量的整體衡量標準。
題目
- 您已發佈影像分類模型。 您必須為想要使用的開發人員提供哪些資訊?
ANS:專案識別碼、模型名稱,以及預測資源的金鑰和端點。使用自訂視覺服務來偵測影像中的物件
「物件偵測」是一種以機器學習為基礎的電腦視覺形式。
物件偵測與影像分類的比較
「影像分類」是以機器學習為基礎的電腦視覺形式,其中模型會定型以根據其所包含的主要主題將影像分類。 「物件偵測」則會更進一步,以分類影像中的個別物件,並傳回指出物件位置的週框方塊座標。題目
- 物件偵測模型通常會針對影像傳回下列哪一個結果?
ANS:影像中每個物件的類別標籤、機率和週框方塊。
2. 您打算使用一組影像來定型物件偵測模型,然後將此模型發佈為預測性服務。 您想要使用具有相同金鑰和端點的單一 Azure 資源來進行定型和預測。 您應該建立哪種 Azure 資源?
ANS:認知服務使用臉部服務偵測及分析臉部
Microsoft Azure 提供多項認知服務,其可用來偵測和分析臉部,包括:
- 電腦視覺,提供臉部偵測和一些基本臉部分析,例如判斷年齡。
- 影片索引器,用來偵測及識別影片中的人臉。
-
適用於臉部的 Azure 資源
若要使用臉部,則必須在 Azure 訂閱中建立下列一種資源類型:
臉部:如果不打算使用任何其他認知服務,或若想要分別追蹤臉部的使用量和成本,請使用此特定的資源類型。
- 認知服務:一般的認知服務資源包含電腦視覺及許多其他認知服務,例如電腦視覺、文字分析、翻譯工具文字及其他。 如果打算使用多項認知服務,且想要簡化系統管理和開發作業,請使用此資源類型。
無論選擇建立哪種類型的資源,您都會獲得使用資源所需要的兩項資訊:
- 金鑰,其用來驗證用戶端應用程式的。
-
使用電腦視覺服務讀取文字
電腦視覺服務提供兩種應用程式開發介面 (API),可供您讀取影像中的文字:OCR API 和 Read API。
OCR API
當使用 OCR API 處理影像時,其會傳回下列資訊階層,包括:
包含文字的影像中 區域(矩形的「周框方塊」座標)
- 每個區域中的 文字行
-
Read API
Read API 使用最新的辨識模型,並針對具有大量文字或具有大量視覺雜訊的影像最佳化。包含大量文字的掃描文件最好選擇 Read API。 Read API 也能夠自動判斷要使用的正確辨識模型,考慮文字行、支援有印刷文字的影像,以及辨識手寫。
Read API 的結果會依下列階層排列: 頁面:每頁文字一頁,包括頁面大小和方向的相關資訊。
- 行:頁面上的文字行。
-
使用表單辨識器服務來分析收據
Azure 的 表單辨識器 提供智慧型表單處理功能,其可供將表單、發票和收據等文件中的資料處理程序自動化。
表單辨識器透過下列方式支援文件處理自動化: 所提供現成的已定型 預建收據模型 可辨識及擷取銷售收據中資料。
- 自訂模型,其可供從表單中擷取所謂的鍵/值組和資料表資料。 使用您自己的資料來定型自訂模型,這有助於讓此模型更適合特定表單。
存取表單辨識器服務的 Azure 資源
若要使用表單辨識器,您需要在您的 Azure 訂用帳戶中建立 表單辨識器 資源或 認知服務 資源。題目
- 您打算使用表單辨識器的預建收據模型。 您該建立哪種 Azure 資源呢?
ANS:表單辨識器或認知服務資源。
2. 您會使用表單辨識器服務來分析已掃描成 JPG 格式影像的收據。 可提交到預建收據模型的 JPG 檔案大小上限為何?
ANS:50 MB單元4:探索自然語言處理
開始使用 Azure 上的文字分析
適用於文字分析服務的 Azure 資源
您可選擇佈建下列其中一種資源類型:
- 文字分析 資源 - 如果只打算使用文字分析服務,或想要與其他服務分開管理資源的存取權及帳單,請選擇此資源類型。
認知服務 資源 - 如果打算搭配其他認知服務來使用文字分析服務,且想要同時管理這些服務的存取權及帳單,請選擇此資源類型。
語言偵測
語言名稱 (例如「英文」)。
- ISO 6391 語言代碼 (例如 “en”)。
- 表示語言偵測信賴等級的分數。
題目
- 您想要使用文字分析服務來判斷文字文件中的關鍵交談點。 您應該使用服務的哪一項功能?
ANS:關鍵片語擷取
2. 什麼樣的分數會讓語言偵測傳回 NaN?
ANS:當語言不明確時辨識及合成語音
為了實現這種互動,AI 系統必須支援下列兩種功能:
- 語音辨識 - 偵測及解譯語音輸入的功能。語音辨識是指接受說出口的話,並將其轉換成可處理的資料,這通常是透過將其轉譯成文字表示。(AI接受人說出的話)
語音合成 - 產生語音輸出的功能。語音合成在許多方面與語音辨識相反。 這與說出資料相關,通常是透過將文字轉換為語音來進行。 (AI說出來)
開始在Azure上使用語音
Microsoft Azure 透過 語音 認知服務提供語音辨識及語音合成功能,其中包括下列應用程式開發介面 (API):
語音轉換文字 API-將音訊即時或批次轉譯成文字格式。
- 文字轉換語音 API
資源類型:
- 語音 資源 - 如果只打算使用語音服務,或想要與其他服務分開管理資源的存取權及帳單,請選擇此資源類型。
認知服務 資源 - 如果打算搭配其他認知服務來使用語音服務,且想要同時管理這些服務的存取權及帳單,請選擇此資源類型。
翻譯文字和語音
開始在Azure上使用翻譯
Microsoft Azure 提供支援翻譯的認知服務。 具體而言,您可使用下列服務:
翻譯工具文字 服務,可支援文字轉換文字的翻譯。
- 語音 服務,可執行語音轉換文字和語音轉換語音的翻譯。
這些服務都有專用的 翻譯工具文字 和 語音 資源類型,可分別用於管理各項服務的存取和計費。
或者,您也可以建立透過單一 Azure 資源存取這兩項服務的 認知服務 資源,以合併計費,並讓應用程式透過單一端點和驗證金鑰存取這兩項服務。
題目
- 您需要使用翻譯工具文字服務,來將電子郵件訊息從西班牙文翻譯成英文和法文。 達成此目標的最有效率方法是什麼?
ANS:對服務發出單一呼叫,指定 “from” 語言為 “es”,一種 “to” 語言為 “en”,另一種為 “fr”。不能將語言組合在單一的 “to” 參數中。使用 Language Understanding 建立語言模型
在 Microsoft Azure 上,可透過一般稱為 Language Understanding 的 Language Understanding Intelligent Service 來支援語言理解。 若要使用 Language Understanding,需考慮三個核心概念:「表達」、「實體」和「意圖」Language Understanding
在 Language Understanding 應用程式中,您可能會定義與這些表達有關的 TurnOn 意圖。
None 意圖具有特殊意義。 您應該要時時謹記使用 None 意圖,以協助處理未對應任何已輸入表達的表達。 None 意圖會被視為後援,且通常會在使用者的要求不符合任何其他意圖時,給予使用者一般回應。適用於 Language Understanding 的 Azure 資源
Azure 訂閱中需要有針對上述每項製作和預測工作的資源。 您可使用下列類型的資源:
- Language Understanding:Language Understanding 的專用資源,可以是「製作」或「預測」資源。
- 認知服務:包含 Language Understanding 及許多其他認知服務的一般認知服務資源。 這種類型的資源只能用於「預測」。
題目
- 您必須佈建將用來製作新 Language Understanding 應用程式的 Azure 資源。 您應該建立哪種資源?
ANS:Language Understanding
2. 您正在製作支援國際時鐘的 Language Understanding 應用程式。 您希望使用者能夠詢問指定城市目前的時間,例如「倫敦現在幾點?」 您應該怎麼做?
ANS:定義「城市」實體以及包含指示城市意圖表達的 “GetTime” 意圖。
3. 您已發行自己的 Language Understanding 應用程式。 用戶端應用程式開發人員取得預測需要哪些資訊?
ANS:應用程式預測資源的端點和金鑰單元5:探索對話式 AI
Azure 資源
- Language service.Language服务包含一个自定义的问题回答功能,使您能够创建一个问题和答案对的知识库,可以使用自然语言输入进行查询。
Azure Bot service. 此服務為在Azure上開發,發布和管理機器人提供框架。
創建自定義問答知識庫
創建用戶支持機器人的第一個挑戰是使用語言服務來創建知識庫。您可以使用Language Studio的自定義問答功能來創建、訓練、發布和管理知識庫。
預配語言服務 Azure 資源
若要創建知識庫,必須首先在 Azure 訂閱中預配語言服務資源。
定義問題和答案
配置語言服務資源後,您可以使用 Language Studio 的自定義問答功能來創建由問答對組成的知識庫。這些問題和答案可以是:
從現有的常見問題解答文檔或網頁生成。
-
使用知識庫
當您對知識庫感到滿意時,部署它。然後你可以在它的 REST 接口上使用它。要訪問知識庫,客戶端應用程序需要:
知識庫 ID
- 知識庫端點
- 知識庫授權密鑰
題目
- 您的組織有現有的常見問題集 (FAQ) 文件。 您需要以最輕鬆的方式建立一個 QnA Maker 知識庫,其中包含常見問題集中的問題和答案。 您應該怎麼做?
ANS:將現有的常見問題集文件匯入至新的知識庫中。
2. 您必須提供在組織內部使用的支援 Bot。 有些使用者想要能夠使用 Microsoft Teams 將問題提交給 Bot,有些則想要使用內部網站上的網路聊天介面。 您應該怎麼做?
ANS:建立知識庫。 然後,建立知識庫的 Bot,並且為 Bot 連接 Web Chat 和 Microsoft Teams 通道。單一 Bot 可透過多個通道傳遞。單元6:微软 Azure 人工智能基础: 探索决策支持
Azure 異常偵測器服務為雲端式服務,可協助監視和偵測時間序列資料中的異常狀況。異常偵測器屬於 Azure 認知服務中的決策服務類別。 其為雲端式服務,讓您能夠監視時間序列資料,以及偵測該資料中的異常狀況。 服務使用「單一參數」策略的概念。 您需要自訂的主要參數是「敏感度」,該參數範圍從 1 到 99,可調整結果以符合案例。
使用批次偵測模式時,異常偵測器會根據您傳遞給服務的整個資料集,建立單一統計模型。 從這個模型中,將評估資料集中的每個資料點,並識別異常。 當資料具有下列特性時,最適合使用批次偵測:
- 偶發異常狀況的季節性時間序列
- 偶有尖峰或低峰的持平趨勢時間序列
如何識別異常
異常偵測器 API 識別存在於界限範圍外的異常。 界限設定使用敏感度值。 系統會預設使用稱為 expectedValue、upperMargin 和 lowerMargin 的概念,計算異常偵測的上限和下限。題目
- 何謂季度資料?
ANS:資料以固定間隔發生
2. 在 JSON 資料物件中指定細微性的目的為何?
ANS:其用於指示資料的記錄模式。
3. 異常偵測器 API 如何評估即時資料是否異常?
ANS:異常偵測器會以先前的值來評估目前的值。單元7:微软 Azure 人工智能基础: 探索知识挖掘
將內容導入存儲
為了使用 Azure 搜索服務進行構建,首先需要將內容上傳到 Azure 數據源。支持的數據存儲源包括:
- Azure SQL 數據庫
- Azure VM 上的 SQL Server
- 宇宙數據庫
- Azure Blob 存儲
- Azure 表存儲
存儲中的內容需要從其原始文件類型導出為 JSON 以填充索引。你將使用 Azure 認知搜索服務處理索引。
創建 Azure 認知搜索資源
若要使用 Azure 認知搜索服務,你需要一個 Azure 認知搜索資源。可以在 Azure 門戶中創建資源。創建資源後,您可以從門戶中的資源概覽頁面管理服務組件,包括:
- 用法
- 監控
- 索引
- 索引器
- 數據源
- 技能
-
使用 Azure 門戶創建索引
Azure 認知搜索服務儀表板中包含導入數據嚮導,它自動執行 Azure 門戶中的流程,以創建搜索引擎所需的各種對象。使用 Azure 門戶創建以下任何對象時,您會看到它的實際效果:
數據源:保留與源數據的連接信息,包括憑據。數據源對象專門用於索引器。
- 索引:用於全文搜索和其他查詢的物理數據結構。
- 索引器:一個配置對象,指定數據源、目標索引、可選技能組、可選計劃以及錯誤處理和 base-64 編碼的可選配置設置。
- 技能組(可選):一套完整的操作、轉換和塑造內容的說明,包括分析和從圖像文件中提取信息。除了非常簡單和有限的結構外,它還包括對提供豐富的認知服務資源的引用。
- 知識存儲(可選):將 AI 擴充管道的輸出存儲在 Azure 存儲中的表和 blob 中,以進行獨立分析或下游處理。
使用 Azure 認知搜索索引數據
索引設計的一個好的做法是使用迭代工作流。下面總結瞭如何使用 Azure 門戶和 pull 方法創建索引:
- 在門戶中創建 Azure 認知搜索資源。
- 將內容存儲到支持的數據源之一
- 將數據從數據源移動到索引中。請記住 Azure 認知搜索僅支持 JSON 搜索文檔。
- 查詢索引,分析結果,並在必要時迭代索引架構。
- 使用 Azure 門戶上的搜索資源管理器實時測試搜索。
題目
- 下列關於查詢請求的陳述哪一項是正確的?
- 所有查詢組合都基於完整的 Lucene 語法。
- 查詢請求包括搜索條件,但沒有用於塑造搜索結果。
- 搜索資源管理器僅返回 JSON 格式的結果。
- SearchMode 必須設置為 ON 才能使查詢工作。
- 以下哪些數據源可以用作輸入數據源?
- Azure 數據湖。
- Azure 虛擬機。
- Azure SQL 數據庫。
- Azure 隊列存儲。
- 將數據推送到服務時,Azure 認知搜索接受哪種數據格式?
ANS:JSON