實作背景：SUP.9 問題趨勢分析
ASPICE 標準的 SUP.9 是問題解決管理流程。這個流程要求專案團隊根據策略，進行問題趨勢分析，並從這些分析中總結出洞見。如果發現問題趨勢持續惡化，團隊則需採取進一步的行動。
為了符合這些標準，專案團隊必須先收集與問題相關的各類數據，並將這些數據進行統計分析，製作成趨勢圖表。這些數據包括專案常見的幾種問題，如專案議題（Project Issue）、測試缺陷（Testing Defect）、審查缺陷（Review Defect）以及稽核不符合（Audit NCs）等。
接下來，團隊需要從這些圖表中分析並總結出有價值的洞察。例如，他們可能會發現某一特定問題的發生次數在增加，或是解決問題的速度跟不上問題出現的速度。
通過這一趨勢分析過程，專案團隊不僅可以了解當前的問題狀態，還可以預測並預防未來可能發生的問題，從而提升專案的整體品質。
上段描述中，根據ASPICE不同版本，其對應關係，請參考下表：
| 活動 | ASPICE v3.1 | ASPICE v4.0 |
|---|---|---|
| 分析問題趨勢 | SUP.9 BP9: 根據策略，搜集問題解決的資料，找出趨勢，並針對專案採取行動。 | SUP.9 BP7: 收集問題解決的資料，找出趨勢，並採取對應措施。 |
實作題目：運用AI，實作問題趨勢分析
在筆者與專案團隊討論SUP.9的實作時，我們經常遇到一個困境：不知如何進行問題趨勢分析。即使專案團隊能根據所收集到的問題數據，製作出統計圖表，但如何從中總結洞見、確定後續行動步驟仍是一大挑戰。
因應AI時代來臨，筆者決定使用當下最廣泛使用的ChatGPT，來實作問題趨勢分析。
以下，是這次實作演練的相關材料：
- 使用工具：ChatGPT 4.0版本。
- 資料來源：本次分析主要基於以下的數據表格。
| 月份 | 專案議題(Project Issues) | 測試缺陷 (Testing Defect) | 檢視缺陷 (Review Defects) | 審核不符合(Audit NCs) | 新增問題 (New Issues) | 已解決問題 (Resolved Issues) |
|---|---|---|---|---|---|---|
| 3月 | 40 | 15 | 10 | 10 | 40 | 0 |
| 4月 | 50 | 30 | 8 | 7 | 60 | 50 |
| 5月 | 60 | 25 | 5 | 3 | 80 | 70 |
| 6月 | 70 | 20 | 3 | 1 | 70 | 60 |
針對上述欄位的說明如下：
* 專案議題（Project Issues）：
專案管理的相關問題，如客戶抱怨、進度延誤、資源問題、及KPI不達標、等。
* 測試缺陷（Testing Defect）：
進行測試或驗證時，發現的失敗項目。
* 審查缺陷（Review Defects）：
文件審查過程中，發現的問題或缺陷。
* 審核不合格項目（Audit NCs）：
進行內部或外部稽核時，發現的各種不符合項目。
* 新增問題（New Issues）：
當月新增加的問題數量，目前表格資料，是當月份新增的專案議題
* 已解決問題（Resolved Issues）：
當月已解決的問題數量，目前表格資料，是當月份已解決的專案議題
關於問題種類的統計資料，如果公司有使用問題管理系統（例如：JIRA、Red Mine、或其他ALM系統），建議可以從系統中匯出統計數據。
實作步驟
步驟1：上傳表格截圖，透過ChatGPT產出圖表
將上述表格進行螢幕截圖，並上傳到ChatGPT（如下圖藍色框所示)，並搭配相關Prompt（如下圖紅色框所示）。
本次實作，我所使用的Prompt：（請參考以下內容）
請根據這張表格，產出兩張圖
第一張圖:
1. 使用長條圖，每個月分有四條長條，分別展示四個欄位（Project Issues, Testing Defect, Review Defects, Audit NCs）的數據。
2. 每個欄位使用不同的顏色以便於區分。
3. 圖表應包括英文的X軸（月份）和Y軸（問題數量）標籤，並設置適當的圖表標題。
4. 標題: Problem Trends
第二張圖：
1. 展示專案問題（Project Issues）的數量使用較細的長條圖。
2. 新增問題（New Issues）和已解決問題（Resolved Issues）使用折線圖顯示，並用不同顏色標出以區分。
3. 同樣包括英文X軸和Y軸標籤，並添加描述性的圖表標題。
4. 標題: Project Issue Dynamics本次實作，我所使用的Prompt：上述動作完成後，點選「送出」（下圖為送出後的畫面），接著等待GPT的回應即可。
完成此步驟之後，ChatGPT會調用Python的Matplotlib來生成圖片。
以下為產出來的圖片：
步驟2：透過Prompt，進行分析，並產出結論
接下來，我們將根據「步驟1」的結果，進行趨勢圖分析。為了讓 ChatGPT 能夠根據圖片生成結論，我們需要組織Prompt，讓ChatGPT可以根據我們的要求，產出符合格式的結果。這樣做可以確保分析的內容更加貼近專案團隊的實際需求。
本次實作，我所使用的Prompt：（請參考以下內容）
請根據上述每一張圖，分別解析及彙整圖片中的資訊。
產出要求：
1. 每一張圖，將標題放置於 [ ] 中
2. 說明圖片中的好趨勢
3. 說明圖片中的壞趨勢
4. 如果存在壞趨勢，則額外建議改善方向
5. markdown格式來產出內容
6. 使用正體中文來回答
完成此步驟之後，ChatGPT會根據指令生成內容。（以下為ChatGPT自動生成的內容）
[Problem Trends]
好趨勢：
《審核不符合項目》（Audit NCs）和《審查缺陷》（Review Defects）數量從三月到六月持續下降，顯示內部審查和合規性控制的有效改進。
壞趨勢：
《測試缺陷》（Testing Defect）的數量在四月達到高峰，雖然之後有所下降，但整體來看仍然在高位。
《專案問題》（Project Issues）從三月到六月持續增加。
改善方向：
1. 對於測試缺陷，應增加測試覆蓋範圍和頻率，並加強早期測試階段的質量控制，以預防缺陷的出現。
2. 專案問題的持續增加可能指出專案管理或資源配置上的問題，建議重新評估專案管理流程或提高資源的有效利用率。
---
[Project Issue Dynamics]
好趨勢：
《已解決問題》（Resolved Issues）數量從四月開始顯著增加，顯示問題解決機制的效率提升。
壞趨勢：
雖然《已解決問題》增加，但《新增問題》（New Issues）的數量也在持續增加，特別是五月時達到頂峰，這可能導致專案延遲或成本增加。
改善方向：
1. 應對專案進行風險評估，以及早識別可能導致大量新增問題的風險點，並制定預防措施。
2. 加強專案團隊的溝通和協作，確保所有成員對專案要求和目標有共同的理解，減少因誤解或資訊不對稱而產生的問題。
總結上述ChatGPT生成的內容，大體上給出了很不錯的方向。
針對兩張圖的主要內容分析，事實重點都有抓到。然而，由於生成式AI模型經常會有“AI幻覺”（即一本正經地胡說八道），因此針對產出的內容，仍需要仔細檢查並調整。
針對上述ChatGPT產出的內容，我分別使用藍色和紅色來標示有問題的地方。藍色表示問題較輕微，只需小幅調整；紅色則表示比較嚴重的問題，這些是需要特別注意並可能需要大幅修正的地方。
針對[Problem Trends]的總結：
- ChatGPT在好趨勢及壞趨勢的事實描述上，說明沒有太大出入。
- ChatGPT在改善方向，給出「增加測試覆蓋率和頻率」的錯誤方向，這個建議跟目前看到的好壞趨勢，其實沒有直接關係。
- 按造目前的趨勢看來，專案議題及測試缺陷的數量，有點一發不可收拾。因此，應建議針對專案議題及測試缺陷，做更進一步的分析，以找出可能的隱藏問題。
針對[Project Issue Dynamics]的總結：
- ChatGPT在好趨勢的描述上，沒有問題。然而，在壞趨勢的描述上，自發性的追加了「可能導致專案延遲或成本增加」的描述，這句話乍聽之下邏輯沒有問題，但是這句話的因果關係是什麼，值得進一步討論。
- ChatGPT在改善方向，給出了「加強溝通與協作」的建議，然而這個建議是否對於專案團隊有幫助，這也是非常有問題的！
- 按造目前的趨勢來看，解決問題數量，跟不上發生問題的數量，有可能需要加強教育訓練（有機會降低問題發生量）或是加派人手（有機會提高解決問題的數量）
大家可以發現，ChatGPT在描述事實時的偏差較小。
但是，當涉及推理或提出建議時，則有比較容易胡說八道。
尤其在「改善方向」，雖然這些建議看似合理，實際上卻可能是虛有其表的空話。
筆者建議大家看待ChatGPT的產出時，要參考實際的專案狀況，以免制定出錯誤的或對公司無益的改進措施。
步驟3：修正Prompt，強化角色扮演與逐步執行
在步驟2中，我們觀察到ChatGPT對於「推論」有明確的偏離！
導致這個狀況的原因，是因為指令之間的連貫出了問題，導致ChatGPT跳離了內容框架。
為了讓產出結果更符合期待，我將Prompt進行了修正與調整，並重新對ChatGPT下達指令。
這一次，結果出乎意料的好！
本次實作，我所使用的Prompt：（請參考以下內容，與步驟2不同的部分，我用藍色標註）
請根據上述每一張圖，分別解析及彙整圖片中的資訊。
產出過程要求:
你是一個專業的專案管理人員，你會以仔細的方式，進行工作。
你的分析結果很重要，會影響到專案成員的勝敗。
產出要求：
1. 每一張圖，將標題放置於 [ ] 中
2. 先說明從圖片的觀察，再列出其中的好趨勢 (如果只列一點，請檢察是否有其他的好趨勢)
3. 先說明從圖片的觀察，再列出其中的壞趨勢 (如果只列一點，請檢察是否有其他的壞趨勢)
4. 針對所有列出的壞趨勢，產出建議改善方向；改善方向必須跟壞趨勢，存在因果關係。
5. markdown格式來產出內容
6. 使用正體中文來回答
針對上述的修正，筆者摘錄修改目的：
增列: 產出過程要求，提到專業的專案管理人，仔細的工作
因為ChatGPT是一個大型語言模型，當我們限定它在特定的角色範疇時，可以更好地將其發想限制在我們期望的框架內，從而使得結果更加符合預期。
增列: 你的分析結果很重要，會影響到專案成員的勝敗
ChatGPT在開發時必須遵守AI不傷害人類的原則。因此，將這樣「情勒」的要求融入內容中，有助於指導ChatGPT更細致地執行指令。
增列: 請先說明從圖片的觀察，再列出…
我們擔心ChatGPT可能會錯過重要步驟或做出不切實際的陳述。
為了擔心ChatGPT錯過重要步驟，提出胡說八道的內容。通過一步一步地引導它，我們可以確保它在進行文字產出時不會偏離設定的原則，並根據觀察結果進行合理的分析，從而避免生成脫節的內容。
增列: 改善方向必須跟壞趨勢，存在因果關係
在步驟2，我們發現ChatGPT列出的改善方向與識別的不良趨勢之間缺乏直接聯繫。因此，我們強調改善措施與問題趨勢之間必須具有因果關係，這將引導ChatGPT沿著既定路徑進行，避免提出不切實際的建議。
對Prompt進行修正與改善後，得到的結果如下：
[Problem Trends]
觀察結果
從「Problem Trends」的長條圖中，我們可以清楚看到每個月份中「專案問題」、「測試缺陷」、「審查缺陷」以及「審核不符項」的數量。各類問題的數量均以不同顏色區分，便於識別和比較。
好趨勢
審查缺陷和審核不符項的持續下降：從圖中可以看出，審查缺陷和審核不符項從3月到6月持續下降，這表示專案審查和審核的效果逐漸提高，問題控制越來越有效。
壞趨勢
專案問題和測試缺陷的增長：專案問題從3月的40個增加到6月的70個，測試缺陷在4月達到高峰30個，雖然有所下降，但整體趨勢仍顯上升。
改善建議
1. 對專案問題和測試缺陷進行深入分析：需要對增加的專案問題和測試缺陷進行原因分析，找出根本原因，並針對這些原因制定具體的改進措施。例如，增強測試階段的質量控制，提前進行風險評估和管理。
2. 強化早期識別和介入措施：對於專案早期階段可能出現的問題，應進行更嚴格的監控和評估，以及早期介入，防止問題擴大。
---
[Project Issue Dynamics]
觀察結果
「Project Issue Dynamics」的圖中顯示了專案問題的數量以較細的長條圖呈現，同時新問題和已解決問題以折線圖表示。這種表示方式清楚地展示了問題的生成與解決的動態。
好趨勢
已解決問題數量的增加：從圖中可以看到，已解決問題的數量從4月的50增加到6月的60，顯示團隊解決問題的能力在提升。
壞趨勢
新問題數量高於已解決問題：儘管已解決的問題數量有所增加，但新問題的數量在每個月仍然高於已解決的問題數量，尤其在5月，新問題高達80個。
改善建議
1. 增強問題預防和早期解決機制：為了減少新問題的產生，應該強化預防措施和改進早期問題識別與解決的流程。這可能包括提升員工培訓、改進工作流程或引入新的技術工具來提前識別潛在問題。
2. 優化資源分配：對於解決問題的資源分配應更加高效，特別是在高峰期，確保有足夠的人力和技術支持來及時處理和解決新出現的問題。
這一次ChatGPT生成的內容，比起步驟2，更加符合我們的期望！
就像我在步驟2的作法，我使用了藍色和紅色來標記出問題點。藍色表示問題較輕微，只需小幅調整；紅色則表示比較嚴重的問題，這些是需要特別注意並可能需要大幅修正的地方。
整體而言，唯一使用紅色標記的是[Problem Trends]的第一個改善建議；在[Project Issue Dynamics]部分，內容幾乎與筆者在步驟2提到的觀點一致，甚至還提出了一些全新的想法。
這次的修正顯示，ChatGPT非常依賴精確的Prompt來進行操作。
當Prompt設計得當，生成的內容會更符合我們的期望。
透過步驟2和3，這兩次不同的操作，大家應能感受到不同指令的差異與結果。
步驟4：導出Markdown文本
如果您對ChatGPT回覆的內容感到滿意，並且想將它產出的內容用於報告或簡報，那麼，你可以利用多種線上工具將Markdown格式的內容轉換成其他常見的文件格式。
我們需要給ChatGPT下達指令，即可輕鬆導出Markdown的原始語法。
本次實作，我所使用的Prompt：（請參考以下內容）
請將上述內容生出Markdown語法內容，讓我可以複製到其他工具中使用
一旦ChatGPT完成回應。點選右上角的「Copy Code」即可獲得Markdown格式的文本。
接下來如何運用，就根據各位的實際需求，自由發揮吧！
步驟5：(延伸步驟) 轉換成其他文件
Markdown文本有很高的延伸性，從ChatGPT匯出的Markdown內容，經轉換，可以有許多用途。
筆者建議的轉換工具如下：
- 轉換成心智圖：Markmap
- 轉換成WORD：Pandoc
- 轉換成PPT：懶人必備！一行指令將文字轉ppt檔
值得注意的是，筆者推薦的工具是網路工具，如果您要轉換的內容包含公司機密，建議...還是自己手動轉換格式，要不然可能會違反公司的資安規定喔！
實作小結
引述哈佛商學院教授 卡林・拉哈尼（Karim Lakhani）的話：「AI不會取代人類，但掌握AI的人將會取代那些不用AI的人。」在這個AI快速發展的時代，每天都有新的AI工具出現。若要提升工作效率並減少問題的發生，實際上運用這些AI工具來達成國際標準是非常必要的。
本篇文章，筆者想透過使用AI工具，來展示如何實施問題趨勢分析。希望這篇文章能成為實踐ASPICE標準的產業人士的參考案例，以便於實際工作中取得更好的成果。
進一步來說，AI的應用不僅限於提升個人或團隊的成果，還可以在整個行業中推動標準的制定和遵循，從而提高整體行業的競爭力。透過新的技術變革，開創一個新的時代！
特別聲明
筆者在本次實作是使用OpenAI的 ChatGPT，如果你也想要嘗試，嚴正的建議，不要將公司的資料上傳到ChatGPT中，因為這涉及到資料的洩漏，可能會有嚴重的結果！
筆者在這次的實作中使用了OpenAI的ChatGPT。如果您也有興趣嘗試，我強烈建議不要上傳任何公司資料到ChatGPT，因為這可能會導致資料洩漏，後果可能非常嚴重！
使用任何AI工具都可能造成資料被暴露在外網，如果專案包含敏感資訊，可能會帶來嚴重的後果。筆者無法保證OpenAI不會保存任何互動資訊。因此，如果您想嘗試，建議使用經過公司資安部門驗證安全的工具（例如：MediaTek DaVinci或其他受管控的AI平台）
備註後的備註：筆者沒有拿MediaTek的贊助😂，文末的推薦並不是工商。
