VDI VDE 3516 Blatt 4-2016 Validation in GxP area - Automated testing.pdf

1、ICS 25.040.40, 35.080 VDI/VDE-RICHTLINIEN April 2016 VEREIN DEUTSCHER INGENIEURE VERBAND DER ELEKTROTECHNIK ELEKTRONIK INFORMATIONSTECHNIK Validierung im GxP-Umfeld Automatisiertes Testen Validation in GxP area Automated testing VDI/VDE 3516 Blatt 4 / Part 4 Ausg. deutsch/englisch Issue German/Engli

2、sh Die deutsche Version dieser Richtlinie ist verbindlich. The German version of this standard shall be taken as authori-tative. No guarantee can be given with respect to the English translation. VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA) Fachbereich Engineering und Betrieb automat

3、isierter Anlagen VDI/VDE-Handbuch Automatisierungstechnik Vervielfltigungauch fr innerbetrieblicheZweckenichtgestattet/Reproduction evenfor internalusenotpermittedZu beziehen durch/AvailableatBeuthVerlagGmbH,10772 Berlin AlleRechtevorbehalten/All rightsreserved(b) VereinDeutscherIngenieuree.V., Dsse

4、ldorf 2016Inhalt Seite Contents Page Vorbemerkung 2 Einleitung 2 1 Anwendungsbereich 2 2 Begriffe . 3 3 Vorberlegungen . 4 3.1 berblick 4 3.2 Motivation . 6 3.3 Manuell vs. automatisiert 7 3.4 Werkzeuge 8 3.5 Prozesse 9 3.6 Voraussetzungen . 10 4 Werkzeuge zur Testautomatisierung . 11 4.1 Auswahlkri

5、terien . 12 4.2 Allgemeine Anforderungen . 13 4.3 Spezifische Anforderungen . 13 4.4 Zwei Enden des Spektrums . 15 4.5 Wirtschaftlichkeitsbetrachtung . 15 5 Qualifizierung oder Validierung? 16 5.1 Bewertungskriterien 17 5.2 Der Weg zum validierten Werkzeug . 18 6 Schlussbemerkungen 21 Schrifttum . 2

6、3 Preliminary note 2 Introduction . 2 1 Scope 2 2 Terms and definitions 3 3 Preliminary considerations . 4 3.1 Overview . 4 3.2 Motivation . 6 3.3 Manual vs. automated . 7 3.4 Tools 8 3.5 Processes . 9 3.6 Prerequisites 10 4 Test automation tools 11 4.1 Selection criteria 12 4.2 Common requirements

7、13 4.3 Specific requirements 13 4.4 Two ends of the spectrum . 15 4.5 Return on investment 15 5 Qualification or validation? . 16 5.1 Evaluation criteria . 17 5.2 The road to a validated tool . 18 6 Conclusions 21 Bibliography 23 FrhereAusgabe:03.15Entwurf, deutschFormeredition:03/15Draft,inGerman o

8、nlyB974908A824A6748CAAAA99BAB349F63B2C88DD9B0D2BF8368C461B1CCB65CD15BE74F0686BD19CFC1FA2DEE1E29BEST BeuthStandardsCollection - Stand 2016-06 2 VDI/VDE 3516 Blatt 4 / Part 4 Alle Rechte vorbehalten Verein Deutscher Ingenieure e.V., Dsseldorf 2016 Vorbemerkung Der Inhalt dieser Richtlinie ist entstand

9、en unter Beachtung der Vorgaben und Empfehlungen der Richtlinie VDI 1000. Alle Rechte, insbesondere die des Nachdrucks, der Fotokopie, der elektronischen Verwendung und der bersetzung, jeweils auszugsweise oder vollstn-dig, sind vorbehalten. Die Nutzung dieser Richtlinie ist unter Wahrung des Urhebe

10、rrechts und unter Beachtung der Li-zenzbedingungen (www.vdi.de/richtlinien), die in den VDI-Merkblttern geregelt sind, mglich. Allen, die ehrenamtlich an der Erarbeitung dieser Richtlinie mitgewirkt haben, sei gedankt. Eine Liste der aktuell verfgbaren Bltter dieser Richtlinienreihe ist im Internet

11、abrufbar unter www.vdi.de/3516. Preliminary note The content of this standard has been developed in strict accordance with the requirements and rec-ommendations of the standard VDI 1000. All rights are reserved, including those of reprint-ing, reproduction (photocopying, micro copying), storage in d

12、ata processing systems and translation, either of the full text or of extracts. The use of this standard without infringement of copyright is permitted subject to the licensing con-ditions (www.vdi.de/richtlinien) specified in the VDI Notices. We wish to express our gratitude to all honorary contrib

13、utors to this standard. A catalogue of all available parts of this series of standards can be accessed on the Internet at www.vdi.de/3516. Einleitung Was in anderen Industrien bereits seit den 1980er-Jahren umgesetzt wird, findet auch in der pharma-zeutischen Industrie immer mehr Frsprecher: Durch a

14、utomatisiertes Testen, ein technisches Hilfsmittel, um manuelle Tests zu ersetzen oder zu ergnzen, knnen Zeit- und Kosteneinsparungen erzielt werden. Der Grund fr die bisherige Zu-rckhaltung drfte einerseits das hochgradig regu-lierte Umfeld sein; andererseits bieten Werkzeuge zur Testautomatisierun

15、g nicht nur viele Vorteile, sondern knnen auch neue Risiken mit sich brin-gen. Diese Richtlinie stellt die Zielsetzungen und mg-lichen Vorteile automatisierter Tests verstndlich dar. Des Weiteren werden Kriterien vorgestellt, um den Einsatz von Testautomatisierung erfolgreich zu gestalten und Empfeh

16、lungen ausgesprochen, wie geeignete Werkzeuge ausgewhlt und verifi-ziert werden knnen. Neben zahlreichen wertvol-len Hinweisen zeigt die Richtlinie aber auch Fall-stricke auf und klrt diverse Missverstndnisse. Introduction Test automation, a technical tool that is generally used in the software indu

17、stry since the 1980s to re-place or complement manual testing, is now be-coming more and more popular in the pharmaceu-tical industry in order to achieve time and cost savings. The previous reluctance was very likely caused by the highly regulated environment; on the other hand, test automation tool

18、s, while bringing significant benefits, will also introduce new risks. This standard presents objectives and potential benefits of automated tests. In addition, it intro-duces criteria for the successful application of test automation and gives recommendations to select, evaluate, and verify suitabl

19、e tools. Besides this valuable information, the standard also points out some pitfalls and sheds light on common miscon-ceptions. 1 Anwendungsbereich Diese Richtlinie findet Anwendung bei der Pla-nung und Durchfhrung von automatisierten Tests von Softwareanwendungen im pharmazeutischen Umfeld. 1 Sco

20、pe This standard is designed for the planning and execution of automated tests for software applica-tions in the pharmaceutical environment. B974908A824A6748CAAAA99BAB349F63B2C88DD9B0D2BF8368C461B1CCB65CD15BE74F0686BD19CFC1FA2DEE1E29BEST BeuthStandardsCollection - Stand 2016-06All rights reserved Ve

21、rein Deutscher Ingenieure e.V., Dsseldorf 2016 VDI/VDE 3516 Blatt 4 / Part 4 3 2 Begriffe Fr die Anwendung dieser Richtlinie gelten die folgenden Begriffe: Test Aktivitt, in der ein System oder eine Komponente unter festgelegten Bedingungen betrieben wird, die Ergebnisse erfasst und aufgezeichnet we

22、rden, und eine Bewertung einiger Aspekte des Systems oder der Komponenten durchgefhrt wird Testartefakte Dokumente, Daten und Dateien, die im Zusam-menhang mit Tests entstehen oder verarbeitet wer-den Beispiele: Testflle, Testdaten und Testergebnisse, aber auch Frameworks, Module oder Skripte Testda

23、ten Metadaten zur Verwaltung von Tests, Testfllen und -skripten sowie Eingangsdaten, die fr einen Testfall verwendet werden, Ergebnisse von durch-gefhrten Tests sowie dokumentierte Nachweise Anmerkung: Siehe Bild 1. 2 Terms and definitions For the purposes of this standard, the following terms and d

24、efinitions apply: test activity, in which a system or component is being operated under specified conditions, that yields and documents results and in which an evaluation of some aspects of this system or this component is performed test artefacts documents, data, and files that are being created or

25、 processed in conjunction with tests Examples: test cases, test data, and test results, but also frameworks, modules, or scripts test data meta data for the management of tests, test cases, test scripts as well as test input data for test data, results of executed tests, and documented evidence Note

26、: See Figure 1. Bild 1. Verschiedene Arten von Testdaten Figure 1. Different types of test data Testfall Satz von Testeingaben, Betriebsbedingungen und erwarteten Ergebnissen entwickelt fr ein be-stimmtes Ziel, wie die beispielhafte Ausfhrung eines bestimmten Programmzweigs oder die Veri-fikation de

27、r Einhaltung einer spezifischen Anfor-derung Testfalldokumentation Dokumentation, die fr Eingaben erwartete Ergeb-nisse und einen Satz von Ausfhrungsbestimmun-gen fr ein Testelement spezifiziert test case set of input data, operating conditions, and ex-pected results developed for a specific objecti

28、ve, e.g. the exemplary execution of a specific code branch or the verification of a specific requirement test case documentation documentation that specifies expected results for input data as well as a set of executable operations for a test element Verwaltungs-datenTestflle, TestskripteEingangs-da

29、tenErgebnisse (Erfolg/Fehler)Dokumentation, Nachweisemanagement datatest cases test scriptsinputdataresults (success/failure)documentation evidenceB974908A824A6748CAAAA99BAB349F63B2C88DD9B0D2BF8368C461B1CCB65CD15BE74F0686BD19CFC1FA2DEE1E29BEST BeuthStandardsCollection - Stand 2016-06 4 VDI/VDE 3516

30、Blatt 4 / Part 4 Alle Rechte vorbehalten Verein Deutscher Ingenieure e.V., Dsseldorf 2016 Testskript Dokument, das eine Folge von Aktionen fr die Durchfhrung eines Tests spezifiziert Anmerkung: Bei der Automatisierung ist das Testskript auch der Testfall (Testfalldokumentation) bzw. die Testspezifik

31、a-tion. Testspezifikation Dokument, das den Umfang, die Organisation, die Anwendung von Vorgehensweisen, die Abfolge, die Testumgebung und Voraussetzungen fr eine spezifische Testphase beschreibt test script document that specifies a sequence of actions (op-erations) for the execution of a test Note

32、: In automation the test script is also the test case (test case documentation) or the test specification. test specification document that describes the scope, the organisa-tion, the application of policies and procedures, the sequence, the test environment, and the prerequi-sites for a specific te

33、st phase 3 Vorberlegungen Testautomatisierung ist ein probates Mittel, um die Qualitt im Rahmen der Softwareentwicklung zu berwachen und letztlich zu steigern. Whrend automatisierte Tests in vielen Industriezweigen schon seit Jahren eingesetzt werden, verhlt sich die pharmazeutische Industrie bei di

34、esem Thema eher konservativ. Die Hauptgrnde hierfr drften eine generell eher risikovermeidende Haltung so-wie die groe Anzahl an regulatorischen Vorschrif-ten sein, die einzuhalten sind. Trotz dieser zustz-lichen Hrden sind die Anforderungen an automa-tisierte Testflle mit denen anderer Branchen ver

35、-gleichbar: Die Testflle sollten relativ leicht zu schreiben, auszufhren und gut zu warten sein. Diese Anforderungen knnen als Ausgangspunkt dienen, um eine Strategie zu entwickeln und umzu-setzen, die manuelles oder automatisiertes Testen erlaubt oder auch eine Mischform (z. B. lassen sich Berichte

36、 automatisiert erzeugen, deren Inhalt und Gestaltung in einem nachfolgenden Test ma-nuell berprft werden knnen). In der Regel sollte ohnehin das Testdesign am Anfang stehen, und die Entscheidung fr oder ge-gen Automatisierung einzelner Testflle erst im zweiten Schritt erfolgen. 3 Preliminary conside

37、rations Test automation is an effective means to control and finally increase quality when developing soft-ware. While automated testing is being applied to many business domains, the pharmaceutical indus-try is rather conservative in this respect. Very like-ly, the main reasons for this caution are

38、 a general risk averse tendency as well as the great number of regulatory requirements to comply with. Despite these obstacles, the requirements for automated test cases are not more demanding than for other industries: Test cases shall be easy to write, exe-cute, and maintain. These requirements ca

39、n serve as a starting point for developing and implement-ing a strategy that allows to execute both, manual or automated testing or even a mixture of both (e.g. reports can easily be automatically generated, although it may be required to verify their content and layout manually in a subsequent test

40、 step). As a basic rule, the test design should come first, followed by the decision whether to automate a test case or not as the subsequent step. 3.1 berblick Bild 2 gibt einen vereinfachten berblick ber den Themenkomplex Testautomatisierung. Die Testflle selbst knnen entweder aufgezeichnet oder e

41、ntwickelt werden (hufig ist es auch mglich, Aufzeichnungen im Anschluss zu bearbeiten). Fer-tige Testflle werden beliebig oft ausgefhrt. Damit sind die Kernaufgaben bereits grob skizziert. Um dies zu erreichen, sind aber neben den Test-skripten weitere Aspekte zu beachten. So liegen die Testskripte

42、oft in mehreren Konfigurationen vor, beispielsweise um unter verschiedenen Be-triebssystemen oder mit unterschiedlichen Daten-banken testen zu knnen. Mit der Weiterentwick-lung einer Anwendung gilt es, auch die Testflle 3.1 Overview Figure 2 shows a simplified, yet holistic over-view of the test aut

43、omation complex. Test cases can either be recorded or implemented (many tools also allow to amend and maintain recorded code later on). Completed test cases can be executed as often as needed. With that, the core activities are already laid out. In order to achieve this, several aspects beyond test

44、scripts need to be considered. As an example, test scripts often need to be managed for several con-figurations to be used in combination with differ-ent operating systems or data base management systems. Another example is the ongoing devel-opment of a software application that is requiring B974908

45、A824A6748CAAAA99BAB349F63B2C88DD9B0D2BF8368C461B1CCB65CD15BE74F0686BD19CFC1FA2DEE1E29BEST BeuthStandardsCollection - Stand 2016-06All rights reserved Verein Deutscher Ingenieure e.V., Dsseldorf 2016 VDI/VDE 3516 Blatt 4 / Part 4 5 entsprechend anzupassen folglich liegen die Testflle in diversen Revi

46、sionen vor. an ongoing effort to maintain existing test cases hence, several revisions of these test cases need to be managed. Bild 2. Funktionale Bereiche der Testautomatisie-rung Figure 2. Functional areas of test automation Testdaten knnen integraler Bestandteil eines Test-falls sein oder getrenn

47、t davon verwaltet werden. Schlielich sollen Testflle zwar in erster Linie den Nachweis liefern, dass eine Anwendung wie gewnscht funktioniert, aber dabei werden sie Feh-ler aufdecken auch diese gilt es in angemessener Weise zu behandeln. Nicht bestandene Testflle werden als Fehler re-gistriert. Dies

48、e Fehler knnen bewertet (sehr kri-tisch, unkritisch usw.) und im Lauf der weiteren Testzyklen verfolgt werden. Bild 3 stellt den grundstzlichen Aufbau eines Testsystems bestehend aus Testautomat und Test-bett dar. Test data may be an integral part of a test case or it may be managed separately. Firs

49、t and foremost, test cases shall verify that an application is fit for its intended purpose, but when doing this they will undoubtedly reveal some defects these require to be handled appropriately, too. Failed test cases are typically recorded as defects. These defects can be rated (critical, major, minor, etc.) and followed up in subsequent test cycles. Figure 3 shows the basic setup of a test system including a test automation and a testbed. Bild 3. Aufbau eines Test