1、 1 印月 94 10 月 本標準非經本局同意得翻印 中華民國國家標準 CNS 總號 號 ICS 35.040.00 X6045-414785-4經濟部標準檢驗局印 公布日期 修訂公布日期 93 7 月 6 日 月日 (共 21 頁 )資訊技術軟體過程評鑑 第 4 部：履行評鑑指導 Information technology Software process assessment Part 4 : Guide to performing assessments 目 頁 1. 適用範圍 3 2. 考文件 3 3. 用語釋義 3 4. 過程評鑑概觀 3 4.1 過程評鑑 3 4.2 過程分級方案
2、 . 4 4.3 評鑑方法 4 4.3.1 自我評鑑 . 4 4.3.2 獨評鑑 . 4 4.4 評鑑過程 4 4.4.1 書面評鑑過程 5 4.5 相容模型 5 4.6 支援儀器和工具 5 4.7 過程評鑑的成功因 . 6 4.7.1 承 6 4.7.2 動機 6 4.7.3 機密性 6 4.7.4 攸關性 6 4.7.5 可信性 6 5. 相容模型的選擇和使用 6 5.1 與考模型的相容性 . 6 5.1.1 模型目的 . 7 5.1.2 模型範圍 . 7 5.1.3 模型元件和指標 7 5.1.4 對映 . 8 5.1.5 轉換 . 8 5.2 選擇模型的準則 . 8 5.3 評鑑中之使
3、用模型 . 9 6. 書面評鑑過程的選用 . 9 2 CNS 14785-4, X 6045-4 6.1 與需求的相容性 9 6.2 評鑑輸入 .9 6.3 評鑑過程 . 10 6.3.1 規劃 11 6.3.2 資料收集 . 11 6.3.3 資料確認 . 12 6.3.4 過程分級 . 12 6.3.5 報告 12 6.4 選擇書面評鑑過程 . 13 6.5 勝任評鑑者的角色 . 13 7. 儀器和工具的選擇 . 13 7.1 在評鑑中儀器和工具的使用和目的 . 14 7.2 選擇儀器和工具 14 附錄 A(參考 )指標指引 . 16 引用標準 19 英中名詞對照表 20 3 CNS 14
4、785-4, X 6045-4 1. 適用範圍：本標準提供為符合執行 CNS 14785-3資訊技術軟體過程評鑑第 3部：履行評鑑所述評鑑 (assessment)的需求條件之指引 (guidance)。 本標準提供過程 (process)評鑑的概觀，並藉由指引就相容模型的選擇和使用、書面評鑑過程以及評鑑所使用儀器或工具之各條款來闡釋需求條件。 過程評鑑適用於下列情況： (a) 就組織之立場，為了解其本身過程的狀態，以期改善其過程。 (b) 就組織之立場，為判定其本身過程對某特定需求或某類需求的適切性。 (c) 就組織之立場，為判定另一組織的過程對某特定合約或某類合約的適切性。 2. 參考文件
5、：下列參考文件包含了構成本標準的各種條款。對於任何標明日期的參考文件，並不引用其後續修正或修訂版本。但鼓勵根據本標準達成協議之團體研究使用下列參考文件最新版本的可能性。而對於未標日期的參考文件，則應引用其最新版本。 CNS 14785-9 資訊技術軟體過程評鑑第 9 部：詞彙 3. 用語釋義：本標準引用 CNS 14785-9 所提供的用語釋義。 4. 過程評鑑概觀 4.1 過程評鑑 過程評鑑的執行是為了了解組織單位現行過程的能力。過程評鑑處理組織所使用的所有軟體相關過程，例如管理、發展、維護、支援。這係依與 CNS 14785-2資訊技術軟體過程評鑑第 2 部：過程和過程能力的參考模型所述之
6、參考模型相容的模型，來評鑑組織單位的過程而完成。 參考模型定義了一組通用的 (universal)軟體工程過程 (其係達成良好軟體工程的基本 )和一組可應用於任何過程的過程屬性 (attribute)(其係描繪實作過程的能力特性 )。 參考模型裡的過程係依其所述明的活動 (activity)種類分類。每一過程皆具有一既定目的 (purpose)，說明該過程所應達 成的高層次目標 (goal)。而該目的陳述說明了該做什麼，但並未規定該過程宜如何達成其目標。 在參考模型裡的每一過程屬性代表過程管理上的可量測特性，使得過程能力能有效地達成其目的，並有助於符合組織的營運目標。過程屬性被分類為幾個能力等
7、級，而該等級定義了過程能力的有序尺度 (ordinal scale)，並提供了合理路線用以改善每一個別過程。 評鑑和分級 (rating)框架係植基於評估過程。因此，對於每一受評鑑的過程，其基本的評鑑輸出包含至少九項過程屬性分級。 雖然 CNS 14785-2 所包含的參考模型，涵蓋了各種適用於軟體過程的過程，但是在許多情況下，僅有這些過程的子集被選出來進行評鑑。例如出資者可能會將焦點放置於一或多個關鍵過程上，或那些可能有助於改善措施的過程上。在過程能力判定模式，採購者 (acquirer)可能希望僅針對有關於投標或合約需求的過程來評估供應者 (supplier)的能力。 實作過程的精細和複
8、雜性將視該過程在組織單位裡的全景 (context)而定。舉例 4 CNS 14785-4, X 6045-4 來說五人專案小組所需的規劃遠較五十人小組者少了許多。此被記錄在評鑑輸入的過程全景，影響了勝任評鑑員對實作過程如何判定和分級其過程屬性。此過程全景亦影響在過程屬性和 /或過程能力等級分級之間的可比較程度。 在某些情況下，可能需要比較二或更多組織單位的評鑑輸出，或比較相同組織單位在不同時間的評鑑輸出。當比較評鑑結果時，有許多因素應被考慮。這些因素包括但不僅限於下列： 用以產生分級的樣本大小，而此分級會影響結果比較之精密度。 產生評鑑輸出的評鑑目的例如，比較評鑑目的是為識別最佳 (或最差
9、)實務(practice)與評鑑目的是為識別代表性實務，並無意義。 所使用的書面評鑑過程或模型。 評鑑者的勝任。 參與者的公正。 評鑑所需花費時間。 評鑑者的動機 (例如，依評 鑑結果而有獎勵的內部評鑑者或與該組織有長期關係的顧問 )。 評鑑參與者的動機應坦白且樂於協助。 4.2 過程分級方案 (scheme) 過程評鑑分級框架係植基於評估過程。在第 6 節資訊收集指引將有助於增加不同評鑑者可重複性的程度。 每一過程具有一組構成過程剖繪 (profile)的過程屬性分級。過程屬性分級係使用 CNS 14785-2 所定義過程屬性尺度來表示。 過程能力等級模型定義了遞增過程能力的六點有序尺度，從
10、無法達成其目的的過程 (過程能力等級 0)至最佳化其執行效能的過程 (過程能力等級 5)。過程能力等級模型係由為達成某等級而必須達成的過程屬性分級來描述。 當被評鑑的過程有超過一個以上的範例 (instance)時，則評鑑者需要使用從所有範例所收集並記錄的評鑑資訊，來判斷該過程每一受評鑑過程屬性的分級。 4.3 評鑑方法 (Assessment approach) 4.3.1 自我評鑑 (Self-assessment) 自我評鑑係經由組織執行以評 鑑其本身軟體過程的能力。自我評鑑的出資者通常是組織內部。 4.3.2 獨立評鑑 (Independent assessment) 獨立評鑑係由獨立
11、於受評鑑組 織單元的評鑑者所執行的評鑑。例如，當能獨立查證其評鑑計畫正常運作時，獨立評鑑可能由組 織依其本身利益執行；評鑑出資者可屬於相同組織但不必然是受評鑑組織單位。 獨立評鑑出資者可能在受評鑑 組織單位之外，諸如希望能獨立得到評鑑輸出的採購者。然而，獨立的程度可能會因評鑑的目的和環境而變。 4.4 評鑑過程 (Assessment process) 評鑑應依照能符合評鑑目的之書面過程來執行。 5 CNS 14785-4, X 6045-4 CNS 14785-3，第 4.4.1 節 不論評鑑類型或所採用的方法為何，評鑑宜依照書面過程來執行。書面評鑑過程的一些要件將簡述如下，而其詳細說明則列
12、示於第 5、 6 和 7 節。然而，請注意所提供的指引並不構成完整的書面過程。其角色是提供 協助闡釋 CNS 14785-2 和 CNS 14785-3 裡的需求，且提供選擇或建置書面過程的一個起點。 所說明的評鑑過程要件是書面評鑑過程、相容的評鑑模型、以及支援儀器和工具。 4.4.1 書面評鑑過程 (Documented assessment process) 書面評鑑過程係由用以執行評鑑的一群指令 (instruction)和程序 (procedure)而組成。視其方法而定，書面評鑑過程應提供下列主題之指引： 角色和職責 (responsibility)。 使用的工具和技術。 必要的資源。
13、 屬於下列種類的序列活動和程序： 規劃 資料收集 資料確認 過程分級 4.5 相容模型 (compatible model) 相容模型是符合 CNS 14785-2 所規定需求之模型。總彙言之，相容模型是一模型： 適用於過程評鑑的目的。 其基本元件可能是對映 CNS 14785-2 參考模型的過程和能力維度(dimension)。 具有在評鑑期間使 用的多組指標 (indicator)，以收集相關過程和過程屬性的資訊。 具有一正規機制，可將使用該模型所收集的資訊轉換為 CNS 14785-2 所定義的過程屬性分級。 第 5 節提供了選擇和使用相容模型的指引。 CNS 14785-5資訊技術軟體
14、過程評鑑第 5 部：評鑑模型和指標指引 裡使用之模型即是一相容模型的範例。 4.6 支援儀器和工具 在任一評鑑中，資訊將需要被收集、記錄、儲存、校勘、處理、分析、檢索和展示。一般而言，書面評鑑過程將藉由各種不同儀器和工具，來支援其資訊的蒐集、處理和展示。對於某些評鑑，支援的 工具和儀器可能是人工 (manual)和書面 (paper-based)(表格、問卷、核對表列等 )。在某些情況，評鑑資訊的容量和複雜性極大，而需要使用電腦（ computer-based）支援工具。 不管支援儀器和工具的型式為何，它們的目的應該是協助評鑑者以一致性和可靠的方式執行評鑑，以減少評鑑者個人 主觀，且有助於確保
15、評鑑結果的有效 6 CNS 14785-4, X 6045-4 性、使用性和可比較性。為達成這些目的，儀器和工具需要使評鑑模型和其指標能由評鑑者易於取用。 4.7 過程評鑑的成功因素 下列因素對成功的過程評鑑極為重要。 4.7.1 承諾 (commitment) 出資者本身宜承諾提供授權在 組織裡執行該評鑑所建立的評鑑目的。此承諾需要具有必要之資源、時間 和人員以執行評鑑。出資者和評鑑者雙方的承諾，對確保符合目的極為重要。 4.7.2 動機 (motivation) 組織管理階層的態度和據以收 集資訊的書面評鑑過程，對評鑑結果具有重要的影響力。因此，組織的管 理階層需要激發參與者心態上應開放和
16、具建設性。過程評鑑是針對過程， 而非執行該過程的組織單位成員的效能。其目的是使各過程更有效以支援既定的營運目標，而非尋找個人的過失。 在評鑑期提供回饋 (feedback)和維持增進開放討論關於初步發現之氣氛，是有助於確保評鑑輸出對該組織 單位具有意義。組織必須認知參與者是相關過程知識和經驗的主要來源，且他們是處在能識別潛在的弱點的有利位置。 4.7.3 機密性 (confidentiality) 對在評鑑期間所蒐集資訊和文 件來源的機密性的尊重，以確保該資訊是必要的。如果使用討論技術，宜 考量適當措施以確保參與者不受威脅或有機密性的顧慮。所提供的某些資 訊可能是專屬於該組織。因此應有適當的管
17、制措施以處理該等資訊。 4.7.4 攸關性 (relevance) 組織單位成員宜相信該評鑑會直接或間接地對他們產生一些利益。 4.7.5 可信性 (credibility) 出資者和組織單位的管理階層 和職員全都必須相信該評鑑會交付一客觀且代表評鑑範圍的結果。所有成 員均應信任評鑑者具有評鑑的適當經驗，充份公平且對組織單位和其營運適當瞭解以執行該評鑑。 5. 相容模型的選擇和使用 本節提供了相容模型的選擇和使用之指引，而此相容模型即是執行軟體過程評鑑的基礎。本指引是為供該評鑑的評鑑者和出資者使用而準備。它並非特別地針對相容模型的發展者，雖然他們也可能使用本指引。 在執行過程評鑑時，受評鑑組織
18、單位內所觀察到的實務，會與一具有良好實務的基本模型所定義項目做比較，以判定其實務效能所達成能力屬性的程度。為達成此情況，該模型必須包含欲觀察之實務的說明，以及這些實務的效能指標，使得能夠可靠且一致性地判斷其能力。 5.1 與參考模型的相容性 評鑑內所使用的模型是符合 ISO/IEC TR 15504-2 所定義需求的良好軟體工程實務的相容模型的身分 (identity)。 7 CNS 14785-4, X 6045-4 CNS 14785-3，第 4.2.2(e)節 選擇模型的第一個準則是達成與參考模型的相容性。為提供在不同評鑑結果之間的可比較性程度相容性是必要的，它可藉由增大不同憑鑑方法的可
19、靠性，以及結果報告上較大程度的一致性來達成。 5.1.1 模型目的 模型應基於良好軟體工程和過 程管理原則，以適用於評估軟體過程能力之目的。 CNS 14785-2，第 7.2 節 有許多不同型式的模型化技術 ，可用於描述、規定和制定過程。尚未明確發展用於過程評鑑的模型，可 能無法產生可靠結果，且在選擇之前宜確認其對評鑑目的的適切性。 5.1.2 模型範圍 模型應包含參考模型之過程尺度中所有或非空組件集的過程組。 模型對於所有在其範圍裡的過 程，應述明參考模型能力維度之所有的等級(由第 1 級開始 )或連續子集。 CNS 14785-2，第 7.3 節 參考模型定義了一組通用的軟 體工程過程，
20、其係達成良好軟體工程的基礎且涵蓋最佳實務活動。欲與參 考模型相容的任何的模型必須至少包含此範圍的一部分。該模型可為參考模型的子集。它也可能 是參考模型的超集(super-set)，涵蓋所有已定義的過程和超出標準範圍的額外過程說明。相容模型亦可能包括超出參考模型 以外的過程，但它至少包含參考模型之一項過程。最後，該模型範圍亦可能直接等於參考模型。 對於能力維度，一模型對於所 有其範圍裡的過程必須涵蓋一整組能力。該組能力必須包含在參考模型的全部能力等級尺度或其等級 1 開始之子集。因此，模型宣稱僅涵蓋能力等級為 1 至 3 級是被允許的，但宣稱涵蓋能力等級為 3 至 5 級則不被允許的。 在選擇模
21、型時，評鑑者應確保該模型範圍涵蓋該評鑑意欲評鑑的區域。 5.1.3 模型元件 (element)和指標 模型應基於在模型範圍所有過程之一 組明確述明目的模型元件 (如參考模型所定義 )，及證明在模型能力等級範圍所達成的過程屬性 CNS 14785-2，第 7.4 節 為使一模型與參考模型相容， 必須如參考模型所定義來述明過程目的，並述明構成能力維度的過程屬性 所能達成者。為符合本系列標準其它元件的需求，它亦必須明文規定一組 過程效能和過程能力的指標，使過程能力的判斷能完全植基於客觀證據。 可預期指標將分為兩類：指示 過程效能的因素及指示其能力的因素。在選擇模型時，應特別注意該模型 裡指標的使用
22、、指標集的廣泛性以及指標集的適用性。 CNS 14785-5 包含一具有廣泛指標集的模型，可視為預期涵蓋 8 CNS 14785-4, X 6045-4 範圍的指導。 5.1.4 對映 (mapping) 模型應提供外顯的對映，從模型基本元件至參考模型的過程和過程屬性。 此對映應完整、清楚而不含糊且應在宣告涵蓋的範圍內實證之。 CNS 14785-2，第 7.5 節 評鑑者能存取該模型元件與參 考模型的對映細節是必要的。對映可能是簡單的，如在 CNS 14785-5 所定義的模型即是一例。然而，如果該模型的結構與參考模型明顯不同，則其對映可能相當複雜。 評鑑者宜確定該等對映關係是 具有意義，例
23、如藉由取樣模型裡的一些最低等級組件 (component)，將其定位至參考模型，作為過程的元件或過程屬性的貢獻者 (contributor)。如果該等對映關係造成各元件被識別為一個以上過程屬性的組件，則可能指示模 型結構具有問題，其可能導致混淆不清的結果轉換。 5.1.5 轉換 (translation) 相容模型應提供一個正規及可 查證的機制，以轉換依據相容模型所收集的資料至一組過程屬性分級 (對於每一個直接或間接受評鑑的參考模型過程 )，參照第 6.7 節及本系列標準第 3 部之規定。 CNS 14785-2，第 7.6 節 過程評鑑的輸出是一組過程剖 繪。過程剖繪係一組可高達九等級的分級
24、，每一過程屬性各一。任一相容 模型的評鑑結果必須能夠轉換為這種格式，以便形成比較上的共同基礎。 轉換機制可為人工或電腦方式 。它可能需要包含在評鑑期間所收集的額外資訊，且可能包括對評鑑者部 分的進一步判斷。然而，轉換結果所使用的規則，應該明確且不模糊，且可由模型發展者或方法提供者提供。 如果模型是依 CNS 14785-2 所規定格式明確地提供結果，則不需要有任何轉換機制。 5.2 選擇模型的準則 (criteria) 評鑑所使用的模型可由評鑑 者選擇或可由評鑑的出資者予以規定 (不論任一情況，均應明文規定為限制條件 )。在任一情況，將有適當準則以協助確保該選擇係適用於面臨的用途。 假設所選擇
25、的任一模型皆與參考模型相容，則在選擇模型上的主要考量事項是它對於評鑑全景的適當性。影響選用模型的主要因素為： 評鑑的計畫範圍。 受評鑑組織的工業部門。 該評鑑重點之軟體組件的應用領域。 包含一改善路徑用以改進組織的過程的成熟度 (maturity)。 與其他評鑑或組織強烈可比較性的特定需求。 如果存在有模型是明確發展使用於特定工業部門者，例如：電信、國防、航太， 9 CNS 14785-4, X 6045-4 或特定應用領域，例如：高安全系統、人身安全關鍵系統 (safty critical system)、即時嵌入式軟體。當適用時，則應該加以考慮這些事項。 當組織欲在並非代表其正常領域的區域
26、裡執行評鑑時，應該注意其所選用的模型是否適當。例如，欲評鑑負責維護其內部管理系統的過程之航太組織可能發現某一工業特定模型並非最適用於該任務。 CNS 14785-5 所提供的模型是一概括性模型，其經適當設計可適用於所有工業部門和應用領域。 5.3 評鑑中之使用模型 模型提供過程和過程屬性的基本定義，而此過程和過程屬性係為組織單位的過程效能判斷之參考點。因此，在整個評鑑期間使用單一模型是必要的。 因此勝任評鑑者應對該評鑑所使用特定模型具有高度的知識，如其結構、模型的基本元件以及其與參考模型的關係。 因為該模型亦內含過程效能和能力的廣泛指標集，故明文規定參考指標和分級判斷也是評鑑者在判斷符合需求的
27、重要參考點。第 7 節提供評鑑儀器選用之指引。 6. 書面評鑑過程的選用 本節提供適當書面評鑑過程選用的指引，以作為履行軟體過程評鑑的基礎。本指引意欲供各評鑑的評鑑者和出資者使用。它並沒有明確地針對書面評 鑑過程的發展者，但其亦可使用之。 在履行過程評鑑時，所使用的書面評鑑過程必須確保符合 CNS 14785-3 所定義的需求。為達成此目標，書面評鑑過程宜包含將被履行的活動描述、關鍵個人的職責和必須記錄的文件證據。它亦可能定義配合該書面評鑑過程所需使用的特定相容模型和工具。 6.1 與需求的相容性 為達成過程評鑑方法較大程度的一致性，以最大化不同方法的可靠度，並提供不同評鑑結果之間的可比較性，
28、任何所使用的書面評鑑過程宜嘗試確保所履行的評鑑符合 CNS 14785-3 所定義的需求。在評鑑執行之前和期間查證其需求以能即時採取矯正措施才有意義。 書面評鑑過程宜定義所有需要支援活動的過程，諸如文件管制、品質保證、專案管理以及與書面評鑑過程本身相關的關鍵活動。這可能是指引資料、程序或標準等的格式，以及勝任評鑑者如何達到必要的資格能力以正確地使用書面評鑑過程，例如訓練課程和經驗層面。書面評鑑過程宜提供所有必要的指引，包括執行評鑑時所必須履行的所有活動之指引，如 CNS 14785-3 所述。 6.2 評鑑輸入 包括與 營運 目標一致的評鑑目的 CNS 14785-3，第 4.2.2 (b)節
29、 不同類型的評鑑具有不同的目的。目的可能視營運要求而變，諸如促進內部過程改善和選擇內部或外部的供應者。 10 CNS 14785-4, X 6045-4 評鑑範圍 CNS 14785-3，第 4.2.2 (c)節 過程範圍可能包括一或多個過程以及那些包含在評鑑中的過程屬性。限制該評鑑所使用的過程和過程屬性數量具有重點調查的效果。宜包含在評鑑範圍內的因素是評鑑範圍和提供分級能力之間、目前過程能力等級與在評鑑期間的限制條件之間的關係。 組織單位的選擇宜反映出資者對評鑑輸出的使用意圖。例如，如果該輸出欲被使用於過程改善，則組織單位範圍宜配合其意欲的改善努力。組織單位範圍可從一專案至整個組織之間任何大
30、小。 評鑑限制 CNS 14785-3，第 4.2.2(d)節 如果缺乏關鍵資源，可能影響評鑑的成功。必須詳加考量以減少受評鑑者因受到專案壓力的逼迫而受干擾。 過程和範圍可加以裁適以配合適用的時間。 由於生命週期階段等因素，可能需要排除組織單位的某些部分。 評鑑內所使用的模型是符合本 系列 標準第 2 部所定義需求的良好軟體工程實務的相容模型的身分。 CNS 14785-3，第 4.2.2(e)節 為便於應用，某些人可能願意使用單一相容模型；然而，視評鑑的目的而定，可只使用支援相容模型的選擇部分。 評鑑者的身分，包括具有該評鑑特定職責的勝任評鑑者。 CNS 14785-3，第 4.2.2(f)
31、 從事該評鑑任務的評鑑者數量可能改變，然而結合評鑑者的知識和經驗，可孕育出對評鑑結果的信心。由於來自組織單位評鑑者的參與，能有助於提供過程全景資料以及支援結果的所有權和接收其結果。 負責該評鑑的評鑑者 勝任 準則。 CNS 14785-3，第 4.2.2(g) 本系列標準第 6 部提供一關於評鑑者資格的指引予出資者。書面評鑑過程必須提供關於誰適任勝任評鑑者的特定準則。 負有該評鑑特定職責的受評鑑者 (assessee)和支援職員的身分 CNS 14785-3，第 4.2.2(h) 受評鑑者之選擇應該足以代表受評鑑的 組織單位。如果參與者係代表組織單位，則評鑑結果更能提供對過程能力的正確觀點。
32、在評鑑期間應收集 足以 支援程序改善或程序能力評量的任何詳細資料，例如用來量化組織能力符合特定營運目標的特定資料 (或量度項目 )。 CNS 14785-3，第 4.2.2(i) 支援過程全景的資訊，諸如改善機會或採購風險，宜被書面化。 6.3 評鑑過程 11 CNS 14785-4, X 6045-4 評鑑應依照能符合評鑑目的之書面程序來執行。 CNS 14785-3，第 4.4.1 節 書面過程可支援評鑑方法的可重複性，且提供持續改善的基礎。 6.3.1 規劃 評鑑計畫應被擬定並書面化。 CNS 14785-3，第 4.4.2(a)節 書面評鑑過程宜描述如何校勘 、審查、核准和記錄評鑑輸入
33、所需要的所有資訊。書面評鑑過程可能需要 適當的工具支援，以收集和儲存資訊。評鑑輸入併同其他資訊及分析，形成該評鑑輸出。 書面評鑑過程宜提供支援以記 錄或轉換評鑑輸入至適當格式，而成為評鑑輸出的一部分。 書面評鑑過程宜提供下列項目之指引： 出資者承諾的取得。 評鑑輸出的所有權和分發之定義。 評鑑規劃。 適當的機密性陳述及如何實現。 分類過程全景。 查證評鑑的需求。 書面評鑑過程宜定義各項機制： 使評鑑能在既定限制條件有效履行，若不能，則如何再協商和核准限制條件及 /或範圍。 支援收集評鑑出資者所定義的任何其他資訊。 書面評鑑過程宜： 提供適當機制以允許 出資者確保所提名的勝任評鑑者具有從事評鑑的
34、資格以及確認其資格的機制； CNS 14785-6資訊技術軟體過程評鑑第 6 部：勝任評鑑員指導 列有評鑑者資格指引。 定義在評鑑中的其它角色和職責，以及每一角色所要求的資格。 提供適當機制以確保評鑑符合 CNS 14785-2 和 CNS 14785-3 所訂定的需求。 定義如何達成此符合性，並提供適當機制以確認符合需求。這達成符合性的機制是識別其符合需求的憑證表格（文件）。 6.3.2 資料收集 應依系統性和順序性的方式， 收集評估該評鑑範圍內過程所需要的資料，至少適用下列項目： CNS 14785-3，第 4.4.2(b) 書面評鑑過程宜提供資料收集 機制方面的指引，諸如面談技術、文件審
35、查儀器。其亦宜提供組織單位過 程如何識別對映至相容模型所定義過程的指引。一般這需要適當指引，來 轉換該相容模型評鑑剖繪至該組織單位過程 12 CNS 14785-4, X 6045-4 能力的表述。 書面評鑑過程宜提供取樣指引 ，以確保所選擇的過程組適用於評鑑目的。書面評鑑過程宜提供適當機制以保存取樣資訊和其理由闡述。 資訊蒐集可編列為一或較多專 案所使用之一般人工監測或報告機制的一部分。或者，資訊收集可經由自動化或半自動儀器和工具來支援進行。例如，儀器可在整個軟體發展生命週期期間於所定義的里程碑 (milestone)連續使用，來測量過程契合性、測量過程改善進度或收集資訊以方便未來評鑑。 6
36、.3.3 資料確認 (validation) 所收集的資料應被確認。應採 取適當措施以確保經確認的資料足以涵蓋評鑑範圍。 CNS 14785-3，第 4.4.2(c) 書面評鑑過程宜針對資訊確認 提供指引，其至少涵蓋第一手且獨立來源的資訊；如何使用過去的評鑑結果；和在回饋階段確認所收集的資訊。 6.3.4 過程分級 基於經確認的資料，對每一過程屬性分級指定一等級。 CNS 14785-3，第 4.4.2(d) 書面評鑑過程宜提供適當機制 ，來指定分級至選定模型內所定義的分級組件，以支援書面評鑑過程。如果這些分級組件與 CNS14785-2 所定義的過程屬性不同，則書面評鑑過程 宜針對相容模型所
37、定義的機制之使用提供適當指引，以將分級組件轉換為既定過程屬性分級。 書面評鑑過程宜定義機制以： 確認指定至所評鑑過程的分級。 記錄所有受評鑑過程的分級，確保每一分級紀錄能唯一識別至與其相關的過程。 書面評鑑過程宜提供機制，可 以直接闡釋其意義和價值的格式來表示其過程剖繪。這宜支援整體分級的表現。 為提供在整體評鑑中的可重複 性基礎，在評鑑期間應使用相容模型內整組既定評鑑指標以支援評鑑者判斷分級過程屬性。 CNS 14785-3，第 4.4.2(d)(2)節 用以建置相容模型的需求，確保該等指標可追蹤至 CNS 14785-2 裡參考模型的過程目的陳述或過程屬性 。雖然有關指標的資訊並未形成過程
38、剖繪的一部分，但它卻是提供了支持 評鑑者在指定分級的判斷上之必要證據。該指標資料所定義的特性，可提供在組織單位所發現事物的詳細紀錄。因此，所收集資訊對於評鑑者的評估 ，以及後續分析和規劃過程改善上均極為重要。對於有關指標的指引請參閱附錄 A。 6.3.5 報告 評鑑結果，至少包括第 4.5 節所規定之輸出，應予以書面化並向評鑑出資者報告。 13 CNS 14785-4, X 6045-4 CNS 14785-3，第 4.4.2(e) 書面評鑑過程宜： 提供適當機制 ，以記錄與所選擇相容模型定義之指標有關的資訊及 /或分級。 規定適當格式，使得該等結果可轉送至出資者、 受評鑑者及管理者等；展示或
39、報告。 定義如何保存紀錄它們可為書面式或電子式，視用以支援評鑑的環境和工具而定。 定義出資者、評鑑者、受評鑑組織或其他相關人員或團體所應維持的紀錄，得視可在評鑑輸入識別出的任何保密協議或存取限制而定。 提供適當機制，以記錄和維持評鑑輸出。這些機制宜確保符合所有的機密性需求。 6.4 選擇書面評鑑過程 評鑑者可選擇一評鑑的書面 評鑑過程，或由評鑑出資者予以規定 (於此情況，均宜明文規定為限制條件 )。在任一情況，適當準則的存在，將有助於確保該等選擇是適用於所設想的用途。特定書面評鍵過程適用於特定過程全景、特定評鑑方法和特定過程。所有這些因素均 可能影響選擇特定書面評鑑過程的決定。如果某特定書面評
40、鑑過程已被選擇作為標準，以確保其資源使用最有效，則可強迫組織使用此特定書面評鑑過程。 書面評鑑過程應提供指引和模型，以協助估計履行既定評鑑範圍所需要的資源需求。 書面評鑑過程應提供支援，以確保每一既定的角色可達到必要的資格，諸如訓練和經驗需求。 在選擇書面評鑑過程的主要考量事項，是其評鑑全景和範圍的適切性。影響其選擇的主要因素為： 該評鑑的規劃目的。 該評鑑的規劃範圍。 選擇的評鑑方法。 所選擇過程的過程全景。 如果有已經發展用來支援特定評鑑方式的書面評鍵過程存在，則宜儘可能使用這些。較大、較複雜的組織也可能被逼去選擇有能力涵蓋其營運活動範圍的書面評鍵過程，以確保方法契合性、勝任力之再用性等。
41、 所選擇的評鑑過程將會明顯影響如何執 行評鑑以及其對受評鑑組織單位的效用。勝任評鑑者在確保達成評鑑目的上扮演著重要的角色。 6.5 勝任評鑑者的角色 勝任評鑑者是負責確保該評鑑達成其目的，且符合 CNS 14785-2 和 CNS 14785-3 的需求。因此勝任評鑑者選擇適當的書面評鑑過程是非常重要的。如果是由評鑑出資者來選擇書面評鑑過程，則勝任評鑑者應負責確保各評鑑者或 14 CNS 14785-4, X 6045-4 使用者均能具有符合其用途的資格。 7. 儀器和工具的選擇 7.1 在評鑑中儀器和工具的使用和目的 在任一評鑑，均需要收集、記錄、儲存、校勘、處理、分析、 擷取和展現資訊。在
42、校勘評鑑者所使用的證據方面，儀器和工具可提供有價值的支援，以指定每一受評鑑過程的過程屬性分級，並記錄該等分級成為一組過程剖繪。 基本儀器共有兩種，皆具有不同的特性，書面式的人工用儀器和電腦式的自動化儀器。儀器使用的適當性，得視其計畫的使用模式和評鑑方法論而定。為確保最適宜的效能 (有效性和效率性 )，應該選擇或設計與評鑑過程互相匹配的儀器和工具。 儀器和工具可能以許多方式來使用，以支援評鑑。在評鑑裡的使用模式範例，包括： 由評鑑者使用紙張式儀器或電腦擷取資訊。 由過程擁有者及 /或組織單位代表在評 鑑準備期間或之前，擷取供後續處理的資訊。 由組織單元代表在持續整個軟體發展生 命週期期間和在既定
43、里程碑上，評量過程契合性、過程改善進度，或蒐集資訊以方便未來評鑑。 在評鑑之後，擷取或組織該等評鑑資訊 以方便過程改善規劃或能力評量分析。 在整個組織內，以分散方式進行自我評鑑。 在開始現場評鑑活動之前，增加抽樣及 審查收集的工作產出和過程資訊，諸如面談。 協助評鑑者處理所收集的評鑑資訊。 儲存和擷取評鑑結果，使該等結果更適用於過程改善規劃或能力判定分析。 協助評鑑者進行評鑑後分析該等結果， 諸如依過去效能歷史分析過程改善結果或依已建置的目標剖繪分析供應者剖繪。 以分散方式增加收集資訊，在一過程效 能的設定里程碑查核點，或當增加許多受評鑑組織單位時，增加資訊收集。 產生結果剖繪或協助差距效能分
44、析。 對於所選擇儀器和工具的使用是否勝任，是確保能以可靠的、可重複的和適當的方式收集、記錄、處理和分析該等資訊的一關鍵因素。評鑑者和其它將使用儀器和工具的參與者宜適當地施予訓練 ，並應具有使用儀器和工具的必要經驗。除了對操作儀器或工具的勝任外，訓練及 /或經驗宜提供充分理論來瞭解有關於評鑑模型、指標和分級。 7.2 選擇儀器和工具 特殊工具可被規定為書面評鑑過程的一部分。或者，有意圖的使用者可能需要去選擇其適當的工具。這裡所提出的指引係有意強調在選擇整個評鑑期間所使用儀器與工具上的某些考量事項。它並不述明關於一般支援工具的問題，諸如 15 CNS 14785-4, X 6045-4 文字處理器
45、，雖然整合評鑑儀器和工具和整合文書處理 /簡報工具的能力，可證明在編寫報告和展示評鑑輸出上具有明顯的幫助。 選擇儀器和工具種類的準則，受下列項目所影響： 評鑑的範圍和目的。 收集和儲存資訊的協助性，包括組合評 鑑輸入資料並以適當的格式記錄，供傳送至評鑑輸出。 經由至少在該評鑑範圍內既定指標集之相容評鑑模型的可用性。 擷取在產生分級時所需使用資訊的能力，如在 CNS 14785-2 所定義。 擷取和維護支援資訊的能力，如評鑑輸入資料所定義。 依照 CNS 14785-2 所定義的分級方案 (scheme)，對分級過程和整合結果的支援。 可直接闡釋其意義和價值的形式來表述過程剖繪之支援。 儲存和擷
46、取評鑑結果，以供後續使用於過程改善或能力判定的能力。 適當隔離不同類別資訊和資料，以便使資訊及 /或資料能夠以不同方式使用或分配的設施。 維持所擷取資訊安全的能力，以符合機密性限制條件。 執行動態範圍和裁適的能力，以支援特 定文化、組織、出資者或評鑑的需求。 對於儀器和所收集的結果提供適當的組態管制。 依過程和工作功能區分的能力。 視需要裁適評鑑模型的能力。 可攜性的考量事項 (面談、分散輸入、同時輸入的使用性 ) 。 處理多重評鑑者輸入的能力。 面談、自我評鑑的使用性。 與其它工具 (量度工具、實例等 )整合的能力。 維護存取資訊輸入之稽核軌跡的能力。 即時的效能：如資訊輸入和擷取的速度。
47、召集特定面談所需實務的能力。 電腦化工具的選擇之指引和標準列明於 ISO/IEC 12119： 1994, Information technologySoftware packagesQuality requirements and testing 以及 ISO/IEC 14598(all parts), Information technologySoftware product evaluation。 16 CNS 14785-4, X 6045-4 附錄 A (參考 ) 指標指引 A.1 簡介 CNS 14785-2 所述的參考模型係以二維維度定義：過程維度和過程能力維度，其個別藉由過
48、程目的陳述和過程屬性以表達其特色。過程目的和過程屬性係執行評鑑的準則。 過程目的陳述和屬性 描繪出良好實務，但為使它們適用於所有的軟體應用和領域，它們被定義為抽象、高階觀念，而不限制它們可能被實作的方式。結果，這些目的陳述和屬性可能受制於過寬的闡釋，其對評鑑結果的可重複性和可靠度上則有不利效應。 為減少在闡釋上的主觀性程度和變異性程度，必須以適當方式，經由一組過程效能指標 (關於過程目的 )以及一組過程能力指標 (關於過程屬性 ) ，來詳細說明評鑑(CNS 14785-2 第 7 節 )的相容模型。該等指標係在評鑑期間使用，以支援收集特定過程目的或過程屬性成效的客觀證據。如其名稱所示，指標並不代表過程的需求。它們代表評鑑的共同啟始點，而這也提升了評鑑者判斷的一致性，並提高了各結果的可重複性。由於各組織使用不同技術來製作軟體，所以在某些情況下缺少一些指標可能並不很重要。 以一組過程剖繪形式表現的評鑑輸出，指出每一受評鑑過程的九個過程屬性的各個分級，但它並不指出某特定分級被指定的原因。該等指標有助於從過程或工作產出中識別出那些是存在的，那些是缺少的，並在指定分級予過程或屬性時，提供適當指引予評鑑者。在評鑑期間所擷取有關特定指標存在與否的詳細資訊，可提供具有價值的輸入至分析和過程改善規劃。 該等指標提供一評鑑框架，有助於確保： 評鑑者具有能力闡釋該組織的過程之實例化與參考模
