1、 1 印月 95 6 月 本標準非經本局同意得翻印 中華民國國家標準 CNS 總號 號 ICS 35.080 X3014-215014-2經濟部標準檢驗局印 公布日期 修訂公布日期 95 6 月 16 日 月日 (共 13 頁 )軟體工程產品評估第 2 部 ： 規劃與管理Software engineering Product evaluation Part 2: Planning and management 目錄 節次 頁次 0.導論 . 2 1.適用範圍 2 2.符合性 2 3.引用標準 2 4.用語釋義 3 5.評估管理觀念 3 6.支援軟體評估要求與建議 . 4 6.1 概要 . 4
2、 6.2 組織層級管理 . 4 6.2.1 規劃評估技術的使用與改善 . 4 6.2.2 評估技術的實作 5 6.2.3 評估所使用的技術移轉 5 6.2.4 評估所使用的技術評鑑 6 6.2.5 經驗管理 . 6 6.3 專案管理支援 . 6 6.3.1 評估規劃支援 7 6.3.2 定量評估計畫的持續推廣 . 8 6.3.3 支援評估專案 8 6.3.4 評估結果收集 8 附錄 A(規定 )定量評估計畫樣板 9 參考 11 英中名詞對照表 . 12 2 CNS 15014-2, X 3014-2 0.導論 本標準提供與軟體產品評估結合之規劃與管理要求 (requirement)的細節。 雖
3、然本標準主要關注產品的評估，亦討論相關之對應的過程評估活動。 本標準旨在闡明組織宜提 供的要求，以確保評估的成功。此支援部門 (supporting function)可以是組織的部分 (例如：技術群組 )，或是特別建立的管理部門。 1. 適用範圍 本標準提供支援部門的要求、建議及指導綱要，此支援部門負責軟體產品評估之管理與軟體產品評估所需的技術。 支援部門的任務包括激勵與訓練評估活動的人員、準備適當評估文件與方法，以及回應評估技術上的查詢。 在專案與組織層級，評估支援的主要標的為軟體發展、系統整合及維護，包括軟體獲取。 技術管理與軟體評估過程、量度 (metric)及工具的規劃與管理相關，包
4、括發展、獲取、標準化、控制、組織中之評估技術經驗的回饋與移轉 (transfer)的管理。 本標準預期之使用者為負責下列工作的人員： (1) 管理評估技術的使用。 (2) 支援軟體產品評估。 (3) 管理軟體發展組織。 (4) 或品質保證部門的人員。然而，亦適用於參與其他軟體相關活動的管理者。 2. 符合性 為符合本標準，組織應審查第 6 節所有的要求與建議，以識別有哪些是適用的需求與建議，且陳述尚未實作 (implement)的要求與建議。 3. 引用標準 CNS 12680 品質管理系統基本原理與詞彙。 CNS 12680-3 品質管理與品質保證標準第三部分： （ ）應用於軟體開發、供應及
5、維護之指導綱要 CNS 12681 品質管理系統要求 CNS 14948-1 軟體工程產品品質第部：品質模型 CNS 14785-1資訊技術軟體過程評鑑第部：觀念和入門指導 CNS 14785-2資訊技術軟體過程評鑑第部：過程和過程能力的參考模型 CNS 14785-3資訊技術軟體過程評鑑第部：履行評鑑 CNS 14785-4資訊技術軟體過程評鑑第部：履行評鑑指導 CNS 14785-5資訊技術軟體過程評鑑第部：評鑑模型和指標指引 CNS 14785-6資訊技術軟體過程評鑑第部：評鑑員勝任指導 CNS 14785-7資訊技術軟體過程評鑑第部：過程改善指導 CNS 14785-8資訊技術軟體過程
6、評鑑第部：判定供應者過程能力指導 CNS 14785-9資訊技術軟體過程評鑑第部：詞彙 CNS 14837資訊技術軟體生命週期過程 3 CNS 15014-2, X 3014-2 4. 用語釋義 本標準使用 CNS 12680 及本系列標準第 1 部所提供之用語釋義與下列的用語釋義。 4.1 評估技術 (評估所使用的技術 )(evaluation technology (technology used for evaluation) 評估所使用的技術、工具、量度、測量及其它技術資訊。 4.2 支援部門 (supporting function) 藉由技術、工具、經驗及管理技巧的供應，負責協助軟
7、體評估活動的組織。 4.3 技術 (techniques) 執行特定任務所需的方法與技巧。 5. 評估管理觀念 本標準適用之支援部門，對整個組織提供軟體發展、軟體獲取及第三方 (third party)評估組織中所有專案之組織廣泛的支援 (參照表 1 與表 2)。 表 1 軟體評估活動 發展的軟體 獲取的軟體 發展活動 評估活動 獲取活動 評估活動 “ 可交付物 (deliverable) 取決於所選擇的生命週期。 例如：系統需求規格、系統設計規格。 特定 “ 可交付物的評估 ( 專案的輸出 )。 例如：審查系統設計。 取決於所選擇的獲取過程。 例如：徵求建議書(Request for pro
8、posal) 、供應者 (supplier)過程。 審查獲取 過程的特定輸出。 審查建議 書請求、稽核 (audit)供應者過程。 支援部門的主要任務宜包括： (1) 相關國際與國家標準、技術資訊及必要的專家支援的獲取。 (2) 基於專案與組織之要求，適宜之內部標準與工具的發展。 (3) 為評估設定評效之準則的發展。 (4) 審查任何軟體獲取與發展的有效性與品質。 (5) 藉由資料庫的使用，收集及分析評估結果，並於組織內的宣傳。 (6) 基於組織內的經驗與其各自的評估專案，技術移轉的促進。 (7) 評估專案與其各自的專案管理者的支援。 關於正進行評估軟體的組織，支援部門能夠是外部或內部的。 如
9、果支援部門為評估組織的內部，則支援部門能夠是參與軟體評估之部門的內部或外部。表 2 顯示支援部門與評估專案的特定任務，此表格亦顯示於支援部門與評估專案之活動間的關係。 4 CNS 15014-2, X 3014-2 表 2 支援部門與評估專案間的關係 支援部門提供 評估專案發展 *新技術 *國際 /國家標準 *專家 (顧問 ) *訓練 *組織資料庫 *評估計畫的支援 *專案經驗 *評估經驗 *專案資料 *技術經驗 *支援部門的回饋 6. 支援軟體評估要求與建議 6.1 概要 組織應發展所有評估活動之政策與 計畫，亦應定義支援部門關於所有評估活動的責任。 (1) 規劃與執行軟體評估時，應採用下列
10、步驟 (a) 定義軟體評估的目標。 (b) 保證發展所有評估專案的定量評估 (quantitative evaluation)計畫，此計畫依所要評估的複雜度可細分成更低層級的計畫 (參照附錄 A)。 (c) 登錄專案與 /或產品評估經驗至組織的資料庫，以改進組織的軟體評估方法。 (2) 組織宜依照下列方式執行所有的軟體評估： (a) 評估 (evaluate)軟體是否符合國際、國家或內部標準 (如果適用 )。 (b) 保證評估結果能夠是定量的、清楚表達的或可追蹤的。 (c) 保證使用適當且有效的技術與最佳實務。 (d) 保證有效率執行評估。 (e) 保證支援所有未來評估活動的計畫與建議是可用的
11、。 6.2 組織層級管理 發展、獲取或重覆評估軟體的組織 應具有清楚定義，且結合於計畫中的整體評估責任與品質保證活動。 備考： 當實作時，此計畫將有助於改善評估的品質，並保證可用且相關技術之最佳使用。 一些組織可選擇交託評估活動給第 三方，該第三方亦應根據下列的要求與建議管理評估技術。 6.2.1 規劃評估技術的使用與改善 應該制定與實作改善軟體評估與其支援技術的整體計畫。 計畫應包括以下： (1) 政策聲明的準備。 應有一個政策敘述組織之軟體品質評估的引進、維護及改善的方法。 (2) 組織之目標的定義。 5 CNS 15014-2, X 3014-2 應該定義由軟體品質評估技術的引進、維護及
12、改善所達成的組織目標。 (3) 所使用之技術的識別。 計畫中應評鑑 (assess)與識別應予修正組織中所使用的軟體評估方法與技術，任何與陳述之目標的偏差。 (4) 評估過程之管理的責任分配。 對評估過程的引進、維護及持續的改善，應該指定清楚地陳述的責任。 (5) 進一步改善的識別。 應該識別調查新技術之可用性與適用性的過程與活動，包括處理蹤跡與評估，以及引進與維護新技術。 6.2.2 評估技術的實作 組織應： (1) 評鑑自己與外部可用的品質評估技術，並應決定其技術需要，如果必要時也要決定如何能夠獲取任何新技術。 (2) 根據上述 (1)所描述的工作結果，闡明與定義獲取或發展評估技術的詳細需
13、求。然後應實作這些計畫。 (3) 定義採取與操作獲取之評估技術的過程。 宜於組態控制下維護任何已確認 的評估模組，且文件化已確認的評估模組以作為評估模組 (參照本系列標準第 6 部 )。此外，應該將模組輸入於評鑑的試驗使用中。 應決定組織的軟體評估過程，如果內部沒有，則應該獲取。 就獲取而言： (1) 首先，如果國際或國家標準是可用的，組織應引進這些標準。 (2) 其次，如果學術界或產業界內著名的評估技術是可用的，組織應考慮引進。 (3) 最後，組織宜考慮發展適當的技術，或承包予外部專家機構，以滿足這些需求。 6.2.3 做評估使用的技術移轉 為了移轉組織內發展或獲取的技 術，組織宜準備新技術
14、之引進與採取的訓練課程、工具及適當環境。這些 課程、工具及環境不需要一樣，但應該符合專案的技術層級。 (1) 技術移轉的準備。 為了技術移轉目的，組織宜考慮： (a) 準備定量評估計畫 (參照附錄 A)，包括標的、活動、排程、專案目標及技術移轉活動的責任。 (b) 準備支援訓練課程。 (c) 準備工具與環境。 (d) 定義如何收集資料與評鑑技術移轉。 (e) 定義如何收集關於技術移轉的經驗。 (2) 技術移轉的實作。 6 CNS 15014-2, X 3014-2 組織宜實作技術移轉，且根據定義的計畫收集資料。 (3) 技術移轉的評鑑。 組織宜評鑑技術移轉，如下： (a) 對所有專案，評鑑引進
15、之技術的效應。 (b) 評估至組織內所使用的技術的範圍。 如有必要，組織宜修改或準備符合評鑑結果的新計畫。 6.2.4 用於評估之技術評鑑 為了達到較佳的評估結果，應該評鑑所使用的技術。 宜收集與評鑑特定專案所獲得的評估結果，如下： (1) 資訊的收集與維護。 應收集關於評鑑所需技術的資訊， (例如：花費於測量 (measurement)與評估的工夫，為未來其他專案使用與查證 (verify)新技術之有用的目的，應查證、選擇、修改及維護資訊。 (2) 評估結果與所使用技術的分析與評鑑。 應分析與評鑑軟體評估結果，這些分析與評鑑應包括下列的有效性： (a) 測量。 (b) 評估準則。 (c) 量
16、度。 (d) 技術。 及整體軟體評估的有效性，應根據定義的定量評估計畫執行這些分析與評鑑。 (3) 標準化。 當是可行時，組織內應標準化評估技術的使用。 6.2.5 經驗管理 管理者應負責組織內之評估技術 的有效使用，並且應保證保留評鑑結果與經驗於組織內。應該使用這些結果與經驗，改善評估技術的品質與使用。 能夠藉由組織本身之評估標準的 修改達成改善，其中評估標準包括的項目有品質需求的定義、量度選擇、評定等級的定義及評鑑準則。 建議下列的方法： (1) 執行定期的品質評估審查。 (2) 整合現有標準與新評估標準及整合現有標準與新量度的使用。 (3) 提供這些標準之評估結果的回饋。 (4) 提供組
17、織之品質計畫與 /或品質手冊的評估結果回饋。 (5) 維護改善紀錄，並且保證組織內 “最佳實務 ”的利用性。 6.3 專案管理支援 由支援部門協助特定評估專案的專 案管理，此部門能夠具有所有評估活動與組織內所使用之技術技術的整體責任。 專案管理包括評估規劃、此計畫的提倡及專案與組織之間技術移轉。 7 CNS 15014-2, X 3014-2 關於評估專案 (參照第 5 節 )管理，應具有議定的定量評估計畫。 宜由具有經驗的專案管理者管理評估，並且有： (1) 核准的預算。 (2) 適當的人力與機器資源。 (3) 支援工具、標準及程序。 (4) 清楚定義、文件化及議定的定量評估計畫。 此計畫宜
18、規定將如何達到陳述的目 標，以及如何與何時使用這些測量於評估過程的支援中。 負責組織內整體評估策略與技術的 功能支援管理者，宜於此計畫的實作中支援專案管理者。 6.3.1 評估規劃的支援 為了成功地執行軟體產品評估， 應在專案或評估的開始時，發展定量評估計畫。計畫的目的是協助專案管理者定義與監督定量品質目標 (quality objective)，亦宜協助所有專案人員識別他們的品質目標，並且對照目標持續地監督他們進展。 當準備此計畫，宜考慮： (1) 計畫的目的與使用。 所有專案成員應瞭解所提出之計畫的重要性、實作細節及每個個別專案成員的關係。於任何評估活動前，宜闡明全部。 所有專案人員與非直
19、接參與專案或評估過程的管理階層，宜確認與支援此計畫的用處。 (2) 計畫的改善。 負責組織內整體評估的管理者宜檢查與改善草稿計畫，為了保證適當地包含各種不同的評估需求，宜審查計畫，包括下列的評估需求： (a) 將如何達成陳述之目標的規格，並且亦將如何定量與量測目標。 亦將陳述這些測量將如何支援評估過程。 (b) 在軟體產品評估期間，如何執行定量管理的規格。 (c) 個別的品質目標。 備考：可為產品、過程或甚至相關的大小。 (d) 任務的闡明與相對之責任的分配 (例如：負責資料收集、分析及回饋至專案人員與管理階層 )。 (e) 如何收集、控制及使用資料的定義。 (3) 計畫內容。 此計畫內容宜含
20、蓋所有適用於軟體產品之特性的量測。 對應之產品品質特性 (product quality characteristic)宜支援計畫中陳述的目標，過程品質準則的選擇、所採取的標準、方法、人員技巧、工具支援及專案管理支援亦宜支援之。 樣板如附錄 A 所示。 8 CNS 15014-2, X 3014-2 (4) 詳細的規劃支援。 為了支援評估專案的規劃，宜將所有有用之特定資訊移轉至專案，包括規劃的樣板與相關的評估技術，其包含細節有： (a) 相似專案規劃經驗。 (b) 相同技術的使用。 (c) 組織的標準與品質模型 (quality model)。 (d) 建議之備選與必要量度的使用。 (e) 測
21、量要訣 (know-how)，例如資料元件、測量方法、工具、測量頻率及條件。 (f) 設定特定的評定等級。 6.3.2 定量評估計畫的持續提倡 為了讓計畫的有用獲得專案成員的信任與鼓勵他們積極 地參與計畫的實作，如果適當的話，宜執行下列活動： (1) 設置解釋計畫之技術觀點的會議。 (2) 設置軟體品質評估的講座。 6.3.3 支援評估專案 支援部門應依排定的間隔監督評估專案的實作狀態。 如果識別某些議題，為了解決與 記錄這些議題，宜提供必要的支援，建立經驗之目的是供未來使用。 6.3.4 評估結果收集 於每個評估專案的最後，支援部 門宜收集評估結果，宜儲存這些結果作為參考目的，並且能供未來的
22、專案使用。 相對應國際標準： ISO/IEC 14598-2： 2000 Software engineering Product evaluation Part 2: Planning and management 9 CNS 15014-2, X 3014-2 附錄 A (規定 ) 定量評估計畫樣板 定量評估計畫應該包括下列章節，如果任何一章是不適用的，則應該標示之。 A.1 第 1 章：導論 應描述下列： (1) 計畫的目的。 (2) 計畫的讀者 (audience)。 (3) 計畫的預期使用。 A.2 第 2 章：評估目標 本章應提供關於評估目 標與軟體之預期應用的清楚聲明，能夠以營運
23、需要的觀點陳述之。然而，需求應可用於設定品質目標與各自準則的目的 (例如：將生命財產安全 (safety)之重要系統使用在航空器的自動化降落，要特別陳述這些需求 )。 A.3 第 3 章：適用的品質特性 本章應提供支援 A.2 所規定之目標的品質特性 (例如： ISO/IEC 9126 系列 )聲明。 陳述的品質 目標可能是產品與過程導向 (例如：產品品質特性是可靠度或可維護性；所有測試者有經證明之測試工具組 (test hardness)，並且被訓練處理品質標的時使用測試工具 )。 A.4 第 4 章：優先權的列表 本章應將上述特性依優先順序排列，且應提供這些優先權的支援理論基礎。 備考：優
24、先權可包含過程需求 (例如：來自營運的觀點，可能認為人員訓練比新方法或工具之引進具有較高的優先權 )。 A.5 第 5 章：品質目標 (特性 ) 本章應提供可定量之品 質目標，品質目標於專案發展的中間或最後階段是可量測的 (例如：在最後的測試期間，每行程式碼的錯誤數目，或在組態管理系統之最新版本的控制下，每 個總項的失誤 (fault)數目 )。可能陳述安裝的產品或系統的最大停機時間， CNS 14948-1 與 ISO/IEC 9126 第 2 部中有進一步的解釋。 A.6 第 6 章：排程 本章應提供清楚目標的計畫，其中目標具有里程碑與陳述的可交付物。 A.7 第 7 章：責任的定義 本章
25、應定義所有預見與計畫之實作有關的責任，包括所有的資料收集、分析任務、其它支援需求的實作、報告、緊追及相似需求。 A.8 第 8 章：測量種類 本章應定義各種規劃要 執行的測量，如果同時採取產品與過程測量，則應該分類與執行，如下： (1) 產品品質測量。 10 CNS 15014-2, X 3014-2 包括例如效能、可 靠度及可攜性的測量。陳述在發展的哪個階段執行、多久重複這些測量、使 用什麼技術或工具以協助資料擷取與分析，以及如果與陳述的目標有所不同時，預見什麼動作。 這些測量能夠是最終或中間的，且能夠從次特性的使用中獲得之。 (2) 過程品質測量。 描述如何執行過程 測量。包括標準之有效性
26、的監督、工具使用、專案管理等 (參考 CNS 12680 系列標準 )。 於專案生命週期的 各種階段，能夠執行這些測量。如果認為校正動作為必要的，定義與文件化如何執行關於校正動作的過程。 A.9 第 9 章：使用與分析資料 本章應定義如何分析資 料、使用什麼表示技術，以及如果有的話，使用什麼統計方法。 應提及事先陳述的責任 、支援工具及形式，亦應陳述如何將預見的資訊整合至進展追蹤過程或至產品驗收 (acceptance)過程。 A.10 第 10 章：報告 本章應定義是否於專案或產品評估的內部或外部報告分析的結果，並且亦應定義如何解決所有未解決的項目。 A.11 第 11 章：其它需求 能夠使
27、用本章 (或一些章節 )包括事先未包含的需求，例如能夠包括下列資訊： (1) 所使用的技術與方法。 提供所使用之技術與方法 (例如：按大小分類的方法、發展成熟評鑑、錯誤偵測之檢驗方法及預估錯誤率的缺陷移去模型 )的完整描述 (或提供其它資料的參考 )。 本節或所參考的資料應該是清楚且完整，以便於所有任命人員能夠容易瞭解與使用。 (2) 支援工具。 描述或提供參考如同上述項目 (a)但包含工具支援需求，能夠包括資料庫使用、試算表與統計套裝軟體的導引。 (3) 相關標準與導引。 參考適用的標準與支援導引，描述關於購買與獲取過程中他們的使用與益處(例如： ISO/IEC 9126、 CNS 1268
28、1 與 CNS 12680-3)。 (4) 供應者的評估。 包括軟體產品供應者之有效定量評鑑的評估與測量程序。 能夠包含公開之副本的數目、目前錯誤狀態、檢視關於後安裝支援效能、關於過去與目前使用者滿意度 (satisfaction)的統計、管理效能及財政的穩定性。能夠將關於應用之相關參數 (已從其它供應者中所獲 得的參數 )併入供應者的評估計畫。 11 CNS 15014-2, X 3014-2 參考 CNS 12680 品質管理系統基本原理與詞彙。 CNS 12680-3 品質管理與品質保證標準第三部分： （ ）應用於軟體開發、供應及維護之指導綱要 CNS 12681 品質管理系統要求 CN
29、S 14785-1 資訊技術軟體過程評鑑第部：觀念和入門指導 CNS 14785-2 資訊技術軟體過程評鑑第部：過程和過程能力的參考模型 CNS 14785-3 資訊技術軟體過程評鑑第部：履行評鑑 CNS 14785-4 資訊技術軟體過程評鑑第部：履行評鑑指導 CNS 14785-5 資訊技術軟體過程評鑑第部：評鑑模型和指標指引 CNS 14785-6 資訊技術軟體過程評鑑第部：評鑑員勝任指導 CNS 14785-7 資訊技術軟體過程評鑑第部：過程改善指導 CNS 14785-8 資訊技術軟體過程評鑑第部：判定供應者過程能力指導 CNS 14785-9 資訊技術軟體過程評鑑第部：詞彙 CNS
30、14837 資訊技術軟體生命週期過程 ISO 9004-5, Quality management and quality system elements Part 5: Guidelines to quality plans. ISO 9004-7, Quality management and quality system elements Part 7: Configuration management. 12 CNS 15014-2, X 3014-2 英中名詞對照表 A acceptance 驗收 acquire 獲取 assess 評鑑 assessment 評鑑 audience
31、 讀者 audit 稽核 D deliverable 可交付物 E effort 工夫 evaluate 評估 evaluation module 評估模組 F fault 失誤 I implement 實作 K know-how 要訣 M measurement 測量 metric 量度 N need 需要 P product quality characteristic 產品品質特性 Q quality model 品質模型 quality objective 品質目標 13 CNS 15014-2, X 3014-2 quantitative evaluation 定量評估 R request for proposal 徵求建議書 requirement 要求；需求 S safety 生命財產安全 satisfaction 滿意度 supplier 供應者 supporting function 支援部門 T test hardness 測試工具組 third party 第三方 transfer 移轉 V validity 有效性 verify 查證
