ASPICE 標準解讀

ASPICE實作研討(1):運用ChatGPT,實作問題趨勢分析

實作背景:SUP.9 問題趨勢分析

ASPICE 標準的 SUP.9 是問題解決管理流程。這個流程要求專案團隊根據策略,進行問題趨勢分析,並從這些分析中總結出洞見。如果發現問題趨勢持續惡化,團隊則需採取進一步的行動。

為了符合這些標準,專案團隊必須先收集與問題相關的各類數據,並將這些數據進行統計分析,製作成趨勢圖表。這些數據包括專案常見的幾種問題,如專案議題(Project Issue)、測試缺陷(Testing Defect)、審查缺陷(Review Defect)以及稽核不符合(Audit NCs)等。

接下來,團隊需要從這些圖表中分析並總結出有價值的洞察。例如,他們可能會發現某一特定問題的發生次數在增加,或是解決問題的速度跟不上問題出現的速度。

通過這一趨勢分析過程,專案團隊不僅可以了解當前的問題狀態,還可以預測並預防未來可能發生的問題,從而提升專案的整體品質。

上段描述中,根據ASPICE不同版本,其對應關係,請參考下表:

活動ASPICE v3.1ASPICE v4.0
分析問題趨勢SUP.9 BP9: 根據策略,搜集問題解決的資料,找出趨勢,並針對專案採取行動。SUP.9 BP7: 收集問題解決的資料,找出趨勢,並採取對應措施。

實作題目:運用AI,實作問題趨勢分析

在筆者與專案團隊討論SUP.9的實作時,我們經常遇到一個困境:不知如何進行問題趨勢分析。即使專案團隊能根據所收集到的問題數據,製作出統計圖表,但如何從中總結洞見、確定後續行動步驟仍是一大挑戰。

因應AI時代來臨,筆者決定使用當下最廣泛使用的ChatGPT,來實作問題趨勢分析。

以下,是這次實作演練的相關材料:

  • 使用工具:ChatGPT 4.0版本。
  • 資料來源:本次分析主要基於以下的數據表格。
月份專案議題(Project Issues)測試缺陷 (Testing Defect)檢視缺陷 (Review Defects)審核不符合(Audit NCs)新增問題 (New Issues)已解決問題 (Resolved Issues)
3月40151010400
4月5030876050
5月6025538070
6月7020317060

針對上述欄位的說明如下:

* 專案議題(Project Issues):
專案管理的相關問題,如客戶抱怨、進度延誤、資源問題、及KPI不達標、等。

* 測試缺陷(Testing Defect):
進行測試或驗證時,發現的失敗項目。

* 審查缺陷(Review Defects):
文件審查過程中,發現的問題或缺陷。

* 審核不合格項目(Audit NCs):
進行內部或外部稽核時,發現的各種不符合項目。

* 新增問題(New Issues):
當月新增加的問題數量,目前表格資料,是當月份新增的專案議題

* 已解決問題(Resolved Issues):
當月已解決的問題數量,目前表格資料,是當月份已解決的專案議題
關於問題種類的統計資料,如果公司有使用問題管理系統(例如:JIRA、Red Mine、或其他ALM系統),建議可以從系統中匯出統計數據。

實作步驟

步驟1:上傳表格截圖,透過ChatGPT產出圖表

將上述表格進行螢幕截圖,並上傳到ChatGPT(如下圖藍色框所示),並搭配相關Prompt(如下圖紅色框所示)。

本次實作,我所使用的Prompt:(請參考以下內容)

請根據這張表格,產出兩張圖

第一張圖:
1. 使用長條圖,每個月分有四條長條,分別展示四個欄位(Project Issues, Testing Defect, Review Defects, Audit NCs)的數據。
2. 每個欄位使用不同的顏色以便於區分。
3. 圖表應包括英文的X軸(月份)和Y軸(問題數量)標籤,並設置適當的圖表標題。
4. 標題: Problem Trends

第二張圖:
1. 展示專案問題(Project Issues)的數量使用較細的長條圖。
2. 新增問題(New Issues)和已解決問題(Resolved Issues)使用折線圖顯示,並用不同顏色標出以區分。
3. 同樣包括英文X軸和Y軸標籤,並添加描述性的圖表標題。
4. 標題: Project Issue Dynamics本次實作,我所使用的Prompt:

上述動作完成後,點選「送出」(下圖為送出後的畫面),接著等待GPT的回應即可。

完成此步驟之後,ChatGPT會調用Python的Matplotlib來生成圖片。

以下為產出來的圖片:


步驟2:透過Prompt,進行分析,並產出結論

接下來,我們將根據「步驟1」的結果,進行趨勢圖分析。為了讓 ChatGPT 能夠根據圖片生成結論,我們需要組織Prompt,讓ChatGPT可以根據我們的要求,產出符合格式的結果。這樣做可以確保分析的內容更加貼近專案團隊的實際需求。

本次實作,我所使用的Prompt:(請參考以下內容)

請根據上述每一張圖,分別解析及彙整圖片中的資訊。

產出要求:
1. 每一張圖,將標題放置於 [ ] 中
2. 說明圖片中的好趨勢
3. 說明圖片中的壞趨勢
4. 如果存在壞趨勢,則額外建議改善方向
5. markdown格式來產出內容
6. 使用正體中文來回答

完成此步驟之後,ChatGPT會根據指令生成內容。(以下為ChatGPT自動生成的內容)

圖為ChatGPT根據Prompt回覆的結果(詳細內容,請參考下方灰色區)
[Problem Trends]

好趨勢:
審核不符合項目》(Audit NCs)和《審查缺陷》(Review Defects)數量從三月到六月持續下降,顯示內部審查和合規性控制的有效改進。

壞趨勢:
《測試缺陷》(Testing Defect)的數量在四月達到高峰,雖然之後有所下降,但整體來看仍然在高位。
《專案問題》(Project Issues)從三月到六月持續增加。

改善方向:
1. 對於測試缺陷,應增加測試覆蓋範圍和頻率,並加強早期測試階段的質量控制,以預防缺陷的出現。
2. 專案問題的持續增加可能指出專案管理或資源配置上的問題,建議重新評估專案管理流程或提高資源的有效利用率。

---
[Project Issue Dynamics]

好趨勢:
《已解決問題》(Resolved Issues)數量從四月開始顯著增加,顯示問題解決機制的效率提升。

壞趨勢:
雖然《已解決問題》增加,但《新增問題》(New Issues)的數量也在持續增加,特別是五月時達到頂峰,這可能導致專案延遲或成本增加。

改善方向:
1. 應對專案進行風險評估,以及早識別可能導致大量新增問題的風險點,並制定預防措施。
2. 加強專案團隊的溝通和協作,確保所有成員對專案要求和目標有共同的理解,減少因誤解或資訊不對稱而產生的問題。

總結上述ChatGPT生成的內容,大體上給出了很不錯的方向。

針對兩張圖的主要內容分析,事實重點都有抓到。然而,由於生成式AI模型經常會有“AI幻覺”(即一本正經地胡說八道),因此針對產出的內容,仍需要仔細檢查並調整。

針對上述ChatGPT產出的內容,我分別使用藍色紅色來標示有問題的地方。藍色表示問題較輕微,只需小幅調整;紅色則表示比較嚴重的問題,這些是需要特別注意並可能需要大幅修正的地方。

針對[Problem Trends]的總結:

  1. ChatGPT在好趨勢及壞趨勢的事實描述上,說明沒有太大出入。
  2. ChatGPT在改善方向,給出「增加測試覆蓋率和頻率」的錯誤方向,這個建議跟目前看到的好壞趨勢,其實沒有直接關係。
  3. 按造目前的趨勢看來,專案議題及測試缺陷的數量,有點一發不可收拾。因此,應建議針對專案議題及測試缺陷,做更進一步的分析,以找出可能的隱藏問題。

針對[Project Issue Dynamics]的總結:

  1. ChatGPT在好趨勢的描述上,沒有問題。然而,在壞趨勢的描述上,自發性的追加了「可能導致專案延遲或成本增加」的描述,這句話乍聽之下邏輯沒有問題,但是這句話的因果關係是什麼,值得進一步討論。
  2. ChatGPT在改善方向,給出了「加強溝通與協作」的建議,然而這個建議是否對於專案團隊有幫助,這也是非常有問題的!
  3. 按造目前的趨勢來看,解決問題數量,跟不上發生問題的數量,有可能需要加強教育訓練(有機會降低問題發生量)或是加派人手(有機會提高解決問題的數量)
大家可以發現,ChatGPT在描述事實時的偏差較小。

但是,當涉及推理或提出建議時,則有比較容易胡說八道。

尤其在「改善方向」,雖然這些建議看似合理,實際上卻可能是虛有其表的空話。

筆者建議大家看待ChatGPT的產出時,要參考實際的專案狀況,以免制定出錯誤的或對公司無益的改進措施。

步驟3:修正Prompt,強化角色扮演與逐步執行

在步驟2中,我們觀察到ChatGPT對於「推論」有明確的偏離!

導致這個狀況的原因,是因為指令之間的連貫出了問題,導致ChatGPT跳離了內容框架。

為了讓產出結果更符合期待,我將Prompt進行了修正與調整,並重新對ChatGPT下達指令。

這一次,結果出乎意料的好!

本次實作,我所使用的Prompt:(請參考以下內容,與步驟2不同的部分,我用藍色標註)

請根據上述每一張圖,分別解析及彙整圖片中的資訊。

產出過程要求:
你是一個專業的專案管理人員,你會以仔細的方式,進行工作。
你的分析結果很重要,會影響到專案成員的勝敗。


產出要求:
1. 每一張圖,將標題放置於 [ ] 中
2. 先說明從圖片的觀察,再列出其中的好趨勢 (如果只列一點,請檢察是否有其他的好趨勢)
3. 先說明從圖片的觀察,再列出其中的壞趨勢 (如果只列一點,請檢察是否有其他的壞趨勢)
4. 針對所有列出的壞趨勢,產出建議改善方向;改善方向必須跟壞趨勢,存在因果關係。
5. markdown格式來產出內容
6. 使用正體中文來回答

針對上述的修正,筆者摘錄修改目的:

增列: 產出過程要求,提到專業的專案管理人,仔細的工作

因為ChatGPT是一個大型語言模型,當我們限定它在特定的角色範疇時,可以更好地將其發想限制在我們期望的框架內,從而使得結果更加符合預期。

增列: 你的分析結果很重要,會影響到專案成員的勝敗

ChatGPT在開發時必須遵守AI不傷害人類的原則。因此,將這樣「情勒」的要求融入內容中,有助於指導ChatGPT更細致地執行指令。

增列: 請先說明從圖片的觀察,再列出…

我們擔心ChatGPT可能會錯過重要步驟或做出不切實際的陳述。

為了擔心ChatGPT錯過重要步驟,提出胡說八道的內容。通過一步一步地引導它,我們可以確保它在進行文字產出時不會偏離設定的原則,並根據觀察結果進行合理的分析,從而避免生成脫節的內容。

增列: 改善方向必須跟壞趨勢,存在因果關係

在步驟2,我們發現ChatGPT列出的改善方向與識別的不良趨勢之間缺乏直接聯繫。因此,我們強調改善措施與問題趨勢之間必須具有因果關係,這將引導ChatGPT沿著既定路徑進行,避免提出不切實際的建議。

對Prompt進行修正與改善後,得到的結果如下:

[Problem Trends]

觀察結果
從「Problem Trends」的長條圖中,我們可以清楚看到每個月份中「專案問題」、「測試缺陷」、「審查缺陷」以及「審核不符項」的數量。各類問題的數量均以不同顏色區分,便於識別和比較。

好趨勢
審查缺陷和審核不符項的持續下降:從圖中可以看出,審查缺陷和審核不符項從3月到6月持續下降,這表示專案審查和審核的效果逐漸提高,問題控制越來越有效。

壞趨勢
專案問題和測試缺陷的增長:專案問題從3月的40個增加到6月的70個,測試缺陷在4月達到高峰30個,雖然有所下降,但整體趨勢仍顯上升。

改善建議
1. 對專案問題和測試缺陷進行深入分析:需要對增加的專案問題和測試缺陷進行原因分析,找出根本原因,並針對這些原因制定具體的改進措施。例如,增強測試階段的質量控制,提前進行風險評估和管理。
2. 強化早期識別和介入措施:對於專案早期階段可能出現的問題,應進行更嚴格的監控和評估,以及早期介入,防止問題擴大。

---
[Project Issue Dynamics]

觀察結果
「Project Issue Dynamics」的圖中顯示了專案問題的數量以較細的長條圖呈現,同時新問題和已解決問題以折線圖表示。這種表示方式清楚地展示了問題的生成與解決的動態。

好趨勢
已解決問題數量的增加:從圖中可以看到,已解決問題的數量從4月的50增加到6月的60,顯示團隊解決問題的能力在提升。

壞趨勢
新問題數量高於已解決問題:儘管已解決的問題數量有所增加,但新問題的數量在每個月仍然高於已解決的問題數量,尤其在5月,新問題高達80個。

改善建議
1. 增強問題預防和早期解決機制:為了減少新問題的產生,應該強化預防措施和改進早期問題識別與解決的流程。這可能包括提升員工培訓、改進工作流程或引入新的技術工具來提前識別潛在問題。
2. 優化資源分配:對於解決問題的資源分配應更加高效,特別是在高峰期,確保有足夠的人力和技術支持來及時處理和解決新出現的問題。

這一次ChatGPT生成的內容,比起步驟2,更加符合我們的期望!

就像我在步驟2的作法,我使用了藍色紅色來標記出問題點。藍色表示問題較輕微,只需小幅調整;紅色則表示比較嚴重的問題,這些是需要特別注意並可能需要大幅修正的地方。

整體而言,唯一使用紅色標記的是[Problem Trends]的第一個改善建議;在[Project Issue Dynamics]部分,內容幾乎與筆者在步驟2提到的觀點一致,甚至還提出了一些全新的想法。

這次的修正顯示,ChatGPT非常依賴精確的Prompt來進行操作。
當Prompt設計得當,生成的內容會更符合我們的期望。

透過步驟2和3,這兩次不同的操作,大家應能感受到不同指令的差異與結果。

步驟4:導出Markdown文本

如果您對ChatGPT回覆的內容感到滿意,並且想將它產出的內容用於報告或簡報,那麼,你可以利用多種線上工具將Markdown格式的內容轉換成其他常見的文件格式。

我們需要給ChatGPT下達指令,即可輕鬆導出Markdown的原始語法。

本次實作,我所使用的Prompt:(請參考以下內容)

請將上述內容生出Markdown語法內容,讓我可以複製到其他工具中使用
圖: ChatGPT根據要求,產出的Markdown語法文本!

一旦ChatGPT完成回應。點選右上角的「Copy Code」即可獲得Markdown格式的文本。

接下來如何運用,就根據各位的實際需求,自由發揮吧!


步驟5:(延伸步驟) 轉換成其他文件

Markdown文本有很高的延伸性,從ChatGPT匯出的Markdown內容,經轉換,可以有許多用途。

筆者建議的轉換工具如下:

值得注意的是,筆者推薦的工具是網路工具,如果您要轉換的內容包含公司機密,建議...還是自己手動轉換格式,要不然可能會違反公司的資安規定喔!

實作小結

引述哈佛商學院教授 卡林・拉哈尼(Karim Lakhani)的話:「AI不會取代人類,但掌握AI的人將會取代那些不用AI的人。」在這個AI快速發展的時代,每天都有新的AI工具出現。若要提升工作效率並減少問題的發生,實際上運用這些AI工具來達成國際標準是非常必要的。

本篇文章,筆者想透過使用AI工具,來展示如何實施問題趨勢分析。希望這篇文章能成為實踐ASPICE標準的產業人士的參考案例,以便於實際工作中取得更好的成果。

進一步來說,AI的應用不僅限於提升個人或團隊的成果,還可以在整個行業中推動標準的制定和遵循,從而提高整體行業的競爭力。透過新的技術變革,開創一個新的時代!


特別聲明

筆者在本次實作是使用OpenAI的 ChatGPT,如果你也想要嘗試,嚴正的建議,不要將公司的資料上傳到ChatGPT中,因為這涉及到資料的洩漏,可能會有嚴重的結果!

筆者在這次的實作中使用了OpenAI的ChatGPT。如果您也有興趣嘗試,我強烈建議不要上傳任何公司資料到ChatGPT,因為這可能會導致資料洩漏,後果可能非常嚴重!

使用任何AI工具都可能造成資料被暴露在外網,如果專案包含敏感資訊,可能會帶來嚴重的後果。筆者無法保證OpenAI不會保存任何互動資訊。因此,如果您想嘗試,建議使用經過公司資安部門驗證安全的工具(例如:MediaTek DaVinci或其他受管控的AI平台)

備註後的備註:筆者沒有拿MediaTek的贊助😂,文末的推薦並不是工商。 

感謝閱讀本文章!

如果你對文章內容有任何問題,請隨時與我交流聯絡。

歡迎訂閱我的文章,當有最新文章發布時,我將第一時間通知您 :)


WRITTEN BY
David Lin

現任國際標準輔導顧問及評鑑師;
在這個網站,我將分享一些產業新知、趨勢以及標準的解讀與看法。

歡迎與我交流:
Email:
linchewing@gmail.com
LinkedIn:
https://www.linkedin.com/in/linchew/

發表迴響取消回覆