第二讲 信息资源组织方法第六章 元数据方法.ppt

1、第二讲 信息资源组织方法 第六章 元数据方法,刘炜 ,北京大学研究生课程进修班 2005 上海,北京大学研究生课程进修班 2005 上海,目录,元数据一般概念 国外元数据研究与应用的历史与现状 国内元数据研究与应用的历史与现状 趋势与问题 DC元数据方法,北京大学研究生课程进修班 2005 上海,元数据一般概念,定义 来源 作用 分类 模型,思考： 元数据概念早已有之，为什么现在会非常热门？ 固然MARC是一种元数据格式，但是它与“现代”元数据究竟又什么大的区别？,北京大学研究生课程进修班 2005 上海,元数据定义,“meta”来自古希腊语，意思是更高层次或更基本的概念 关于数据的数据（da

2、ta about data） 关于数据的结构化数据（structured data about data） 用于描述数据的内容（what）、覆盖范围（where, when）、质量、管理方式、数据的所有者（who）、数据的提供方式（how）等信息的数据，是数据与数据用户之间的桥梁 资源的信息 (Information about a resource) 编目信息 (Cataloguing information) 管理、控制信息（Administrative information) 是一组独立的关于资源的说明（metadata is a set of independent assertio

3、ns about a resource ） 定义和描述其它数据的数据（data that defines and describes other data （ISO/IEC 11179-3:2003(E)） Metadata在台湾被译作“元资料”、“诠释资料”、“后设资料”、“文后资料”、“超资料”等多种名称。,北京大学研究生课程进修班 2005 上海,来源,计算机/数据库领域 网络信息标注/检索 进一步发展：机器对于语义的理解和处理（语义万维网）,北京大学研究生课程进修班 2005 上海,元数据的作用,元数据的主要功能是定位（location）、寻找或发掘（discovery）、存档（doc

4、umentation）、评价（evaluation）与选择（selection）等五大功能*； 其他作用：链接与交互关系的体现（linkage and interactive relationship management）、整合XML、RDF与Z39.50不同协议的应用等； 描述、检索、选择、定位、管理、评估与交互等功能*。,*来自于欧洲DESIRE（Development of a European Service for Information on Research and Education）计划的元数据分析报告 *北大数字图书馆研究所的研究报告,北京大学研究生课程进修班 2005

5、上海,Metadata supports operations on resources ., and relieves the user of having to have advance knowledge of the characteristics or existence of the resource.,Know what resources are available Know how to play a resource Know provenance of a resource Know what use policy governs a resource Know how

6、to ingest a resource Know how to interact with a resource Know how to compose/decompose resources,北京大学研究生课程进修班 2005 上海,A portal turned inside out ,Common services,Content services,Application services,Presentation services,I need a few references,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Co

7、mmon services,Content services,Application services,Presentation services,authentication,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Common services,Content services,Application services,Presentation services,Directory: user profile,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Common se

8、rvices,Content services,Application services,Presentation services,Query broker,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Common services,Content services,Application services,Presentation services,Directory: service/collection description,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,

9、Common services,Content services,Application services,Presentation services,Content: results list,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Id like to get this book.,Common services,Content services,Application services,Presentation services,Request broker,From slides by Lorcan Dempsey,北京大学

10、研究生课程进修班 2005 上海,Common services,Content services,Application services,Presentation services,Directory: ILL policy,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Common services,Content services,Application services,Presentation services,Directory: service/collection description,From slides by L

11、orcan Dempsey,北京大学研究生课程进修班 2005 上海,Common services,Content services,Application services,Presentation services,Content: circ/ILL system,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,I need this article too.,Common services,Content services,Application services,Presentation services,Request brok

12、er,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Common services,Content services,Application services,Presentation services,openURL resolver,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Common services,Content services,Application services,Presentation services,Directory: local knowledge

13、 base,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Nearly there ,Common services,Content services,Application services,Presentation services,Directory: service/collection description,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Common services,Content services,Application services,Presen

14、tation services,Content: article,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,Directory: ILL policy,Common services,Content services,Application services,Presentation services,Authentication,Directory: user profile,Query broker,Directory: service/collection description,Reference db,Request bro

15、ker,Circ/ILL system,OpenURL resolver,Directory: local knowledge base,Article db,Metadata for multiple entities required to support operations. This picture could be extended in multiple ways.,From slides by Lorcan Dempsey,北京大学研究生课程进修班 2005 上海,元数据大家庭,*,*,*,*,From slides by Lorcan Dempsey,北京大学研究生课程进修班

16、 2005 上海,元数据的分类,http:/dublincore.org/documents/dces/,More efficient editorial process,Better navigation & discovery,北京大学研究生课程进修班 2005 上海,元数据的分类,根据元数据中的元素所描述、揭示的语义来划分的：,北京大学研究生课程进修班 2005 上海,元数据分类,北京大学研究生课程进修班 2005 上海,描述性元数据的分类,描述能力,低,高,北京大学研究生课程进修班 2005 上海,国外情况,概况 项目情况 标准化情况 研究与应用特点 值得借鉴之处,北京大学研究生课程进

17、修班 2005 上海,元数据标准举例,按元数据应用的学科领域，则可以进行如下划分 ： 传统图书期刊，如：MARC等。 网络资源，如Dublin Core、IAFA/WHOIS+ Templates、LDIF（LDAP Data Interchange Format）、SOIF（Summary Object Interchange Format）、URCs（Uniform Resource Characteristics/Citations）等。 政府信息，如：GILS（Government Information Locator Service，政府信息定位服务）、DC-Gov（DC-Gove

18、rnment Application Profile，DC政府应用纲要）等。 科技文献，如：ibTEX、EELS（The Engineering Electronic Library，工程电子图书馆元数据）、EEVL（The Edinburgh Engineering Virtual Library，爱丁堡虚拟电子图书馆元数据）、RFC1807等28。 人文及社会科学资源，如：TEI Header、ICPSR SGML Codebook Initiative等29。 教育资源：IEEE LOM（Learn Object Medle，学习对象模型）、GEM（GEM Element List，GE

19、M元数据）、DC-Ed（DC-Education元数据）等。 博物馆藏品或特藏，如：CDWA（Categories for the Description of Works of Art，艺术作品描述目录）、CIMI（Computer Interchange of Museum Information）CIMI、 VRA Core（Visual Resources Association Core,可视资源核心类目）、REACH元素集等。 保存型元数据方案：CEDARS、NLA、NEDLIB 地理空间资源，如：FGDC/CSDGM等 手稿档案保存类，如：EAD等 网络多媒体及版权管理：INDE

20、CS,北京大学研究生课程进修班 2005 上海,简介,1.CDWA(艺术作品描述目录) 2.CDF(频道定义格式) 3.BibTex(科技文献书目资源格式) 4.CIMI(博物馆信息计算机交换标准框架) 5.DC(都柏林核心元数据) 6.EAD(编码文档描述) 7.EELS(工程电子化图书馆) 8.EEVL(爱丁堡工程虚拟图书馆) 9.FGDC(联邦地理数据委员会) 10.GILS(政府信息定位服务) 11.IAFA/WHIOS+Templates(因特网匿名FTP文件库版式) 12.ICPSR SGML Codebook(政治和社会研究方面的校际联盟),13.LDAP DIF(轻便型目录获取

21、协议) 14.MARC(机读目录格式) 15.MCF(元内容框架) 16.PICA+(荷兰图书馆自动化中心) 17.PICS(网络内容选择平台) 18.RDF(资源描述框架) 19.RFC(书目记录格式) 20.SGML(通用标准标记语言) 21.SOIF(概略对象交换格式) 22.TEL Header(文本编码计划) 23.URCs(统一资源特征) 24.Warwick Framework(Warwick框架) 25.Web Collections(网站集合),北京大学研究生课程进修班 2005 上海,IFLA推荐方案,应包含的核心元素 主题 Subject 日期 Date 使用条件 Con

22、ditions of use 出版者 Publisher 资源名 Name assigned to the resource 语种/表达方式 Language/mode of expression 资源标识符 Resource identifier 资源类型 Resource type (i.e., what the resource is, rather than what it is about) 作者/创建者 Author/creator 版本 Version,见：Guidance on the Structure, Content, and Application of Metadat

23、a Records for Digital Resources and Collections: Report of the IFLA Cataloguing Section Working Group on the Use of Metadata Schemas (2003 Oct 27),北京大学研究生课程进修班 2005 上海,国内情况,概况 历史 项目与研究应用情况 趋势与展望 值得关注的课题 图书馆员的角色,北京大学研究生课程进修班 2005 上海,国内元数据研究与应用概况,国内的研究与应用： 数字化项目的需要，例如国家图书馆、中山图书馆等； 数字图书馆开发与建设的需要，如有关数字图

24、书馆项目、国家863项目等； 国外元数据跟踪研究和应用的成果 近来新呈现的特点 注重体系化的研究，通过对系统架构的研究，建立信息系统模型（生命周期模型、数据流模型、应用相关模型等）。 注重具体应用环境和实现的研究。 注重标准体系的建立（一整套标准规范和可操作的文档）。,北京大学研究生课程进修班 2005 上海,历史,1997年“试验型数字图书馆”项目 OCLC的引介、推动 国图及中山图书馆元数据方案 北大元数据方法论 上海图书馆“第一届国际元数据研讨会” 上图的元数据跟踪及应用,北京大学研究生课程进修班 2005 上海,国内元数据项目与应用研究情况,国家图书馆中文元数据方案 北京大学图书馆（拓

25、片和敦煌古卷） 清华大学（建筑） 中科院文献情报中心 我国数字图书馆标准与规范建设项目(CDLS) 中山图书馆“数字式中文全文文献通用格式” 中国可持续发展信息共享示范系统* 教育信息源数据标准* 上海图书馆应用研究情况,*参见：http:/ *参见：http:/ 全国信息技术标准化技术委员会教育技术分技术委员会发布的有关教育信息元数据标准,北京大学研究生课程进修班 2005 上海,国家图书馆,国家图书馆(NLCN)于1991年3月成立了文献数字化中心，主要从事国家图书馆内部文献的加工生产，2000年10月划入中国数字图书馆有限责任公司范围，承担中国数字图书馆工程中的资源建设任务，现已经为中国

26、数字图书馆提供中文图书20万册，7000万页、缩微胶片200万拍、金石拓片6000张等数字资源 。 另有：甲骨影像及拓片资源库；西夏文献数字资源库；中文拓片资源库；国际敦煌项目(敦煌及其他遗址出的十万余件写卷，可以在互联网上免费获得高清晰度的数码图像，与之相联的有书目，地图，照片，遗址图等其他有关历史，现状等信息，使学者，学生，平常老百姓能由此深入了解公元一千年丝绸之路上的社会生活状况 )。 2002年12月，“国家图书馆二期工程暨国家数字图书馆工程”项目立项申请书通过国务院批准，程总投资123,500万元； 基于OAIS参考模型的保存性元数据方案“中文元数据方案 ”,北京大学研究生课程进修班

27、 2005 上海,中文元数据方案,北京大学研究生课程进修班 2005 上海,中国高校系统：以北京大学为代表,基于专门数字对象的元数据标准 古籍元数据标准（第4版） 拓片元数据标准（第6版） 舆图元数据标准（第1版） 学位论文元数据标准（第2版） 人物元数据标准（第1版） 电子图书元数据标准（教学参考书）（第1版） 网络资源元数据标准（第1版） 其它,参见示例,北京大学研究生课程进修班 2005 上海,北京大学研究生课程进修班 2005 上海,中国科学院文献情报中心,国家科学数字图书馆预研项目 后续项目：“科技基础性工作专项资金重点项目我国数字图书馆标准规范建设”,北京大学研究生课程进修班 20

28、05 上海,完整的框架体系,注：本页内容来自张晓林教授有关元数据的演示稿,北京大学研究生课程进修班 2005 上海,基于生命周期的元数据开发应用框架,北京大学研究生课程进修班 2005 上海,回目录,中国可持续发展信息共享示范系统,北京大学研究生课程进修班 2005 上海,基础教育教学资源元数据规范,编入教育信息化技术标准CELTS-42 ； 与IEEE LOM和IMS相一致； 与DC联系密切（以DC为核心） 体系完整，元数据方面已包括三个规范： CELTS-3.1（CD1.6)学习对象元数据2002-09-05 CELTS-3.3（CD1.6)学习对象元数据实践指南2003-01-07 CE

29、LTS-3.4（WD1.0)学习对象元数据测试规范2003-01-07 建立了运作机制和认证体系,参见示例,北京大学研究生课程进修班 2005 上海,上海图书馆,上海图书馆于1997年启动了古籍数字化项目(数字化数量共计3223种一、二级藏品130万页)。 ，1998年开始进行历史文献和特色馆藏的抢救性整理和数字化工作。1999年是上海图书馆进行大规模数字化的一年，这一年一共进行了7个数字化项目。 上海数字图书馆是一个综合了七个资源库的网上图书馆，拥有数据近200GB，主要是扫描的影像数据。系统采用IBM Digital Library version 2.4作为主要开发工具应用平台。 元数据

30、方案采用以DCMES作为核心集、多种元数据方案并存的“元数据应用纲要”形式，以基于XML的RDF为基础的编码方式封装在一起，保证了原始素材内容管理中元数据的完整性与互操作能力。 目前正在修改完善一整套元数据规范、方案和方法。 上图德元数据规范和方法正在应用于上海图书馆正在建设的古籍数字图书馆、拓片资源的数字化、家谱数字图书馆、名人手稿数字图书馆等。,北京大学研究生课程进修班 2005 上海,元数据实践,北京大学研究生课程进修班 2005 上海,值得关注的课题,流程与方法 模型 几个重点和趋势： 元数据注册体系 应用方案（AP）的概念和形式化 保存性元数据 权限管理元数据,北京大学研究生课程进修

31、班 2005 上海,上图元数据方案设计流程,北京大学研究生课程进修班 2005 上海,图书馆员的角色,领域内容专家/信息组织专家/计算机专家三位一体； 技术与应用的桥梁； 完善知识体系结构构建元数据方案和知识本体,北京大学研究生课程进修班 2005 上海,元数据模型,RDF数据模型（及Warwick框架） OAIS参考模型 FRBR功能/生命周期模型 DCMI抽象模型（DCMI元数据方案抽象模型） 数字图书馆体系结构模型,北京大学研究生课程进修班 2005 上海,元数据模型：三位一体,在语义、结构和句法三方面分别达成一致 语义 通过属性元素（部分通过编码/置标方式）表达 结构 语义的抽象载体，

32、通过框架/容器来表达，要求做到人类与机器均可读 句法/语法 具体的置标/编码方案（如XML/METS/ MODS/RDF/XMLS/RDFS/OWL等），传达语义和结构,北京大学研究生课程进修班 2005 上海,FRBR模型,Functional Requirements for Bibliographic Records,北京大学研究生课程进修班 2005 上海,元数据生命周期,北京大学研究生课程进修班 2005 上海,数字图书馆体系结构模型,北京大学研究生课程进修班 2005 上海,元数据与数字图书馆,元数据决定了数字图书馆的体系结构，主要解决两个问题： 定义数字图书馆中数字对象的信息结构

33、 定义由数字对象构成的资源库的组织结构 数字对象是数字图书馆中存储信息的基本逻辑单位，它进一步决定着的信息组织处理和利用方式、资源库的组织结构，提供了统一的互操作。 元数据方案是数字图书馆建设的重要组成部分，体现在数字图书馆开发的各个环节中 存储 检索 发布 管理,北京大学研究生课程进修班 2005 上海,DC元数据,北京大学研究生课程进修班 2005 上海,DCMI (Dublin Core Metadata Initiative,Dublin Core Metadata Initiative (DCMI) An organization dedicated to fostering the

34、 widespread adoption of interoperable metadata standards and promoting the development of specialized metadata vocabularies for describing resources to enable more intelligent resource discovery systems Mission Make it easier to find resources using the Internet through the following activities: Dev

35、eloping metadata standards for discovery across domains Defining frameworks for the interoperation of metadata sets Facilitating the development of community- or disciplinary-specific metadata sets that are consistent with items 1 and 2,北京大学研究生课程进修班 2005 上海,Dublin Core Metadata Element Set,Dublin Co

36、re Metadata Element Set (DCMES) A set of 15 descriptive semantic definitions A core set of elements that could be shared across disciplines or within any type of organization needing to organize and classify information Three formally endorsed versions the Dublin Core Metadata Element Set, version 1

37、.1: ISO Standard 15836-2003 (February 2003) NISO Standard Z39.85-2001 (September 2001) CEN Workshop Agreement CWA 13874 (March 2000) Internet RFC 2413 (September 1998): first published version of the Dublin Core; superseded by the above three standards,北京大学研究生课程进修班 2005 上海,Design goals for DCMES,Sim

38、plicity of creation and maintenance Define a small and simple metadata element set to allow a non-specialist to create simple descriptive records for information resources easily and inexpensively while providing for effective retrieval of those resources in the networked environment. Commonly under

39、stood semantics Provide a common set of elements, the semantics of which are universally understood and supported. International scope Involve representatives from virtually every continent to ensure the development of the standard considers the multilingual and multicultural nature of the electroni

40、c information universe. Extensibility Provide mechanisms for extending the DC element set for additional resource discovery needs.,北京大学研究生课程进修班 2005 上海,The 15 elements,Type (Resource Type) Format (Format) Identifier (Resource Identifier) Source (Source) Language (Language) Relation (Relation) Covera

41、ge (Coverage) Rights (Rights Management),Title (Title): Creator (Creator) Subject (Subject and Keywords) Description (Description): Publisher (Publisher) Contributor (Contributor) Date (Date),All elements are optional and repeatable,北京大学研究生课程进修班 2005 上海,Three components for metadata,Elements & Seman

42、tics Definitions for the content of the elements, e.g., what is a title, creator, etc. Focus of DCMES Content Rules Guidelines and direction for inputting the content, e.g., what to capitalize, order of elements, etc. DCMES guidelines available Syntax Rules for structuring and expressing the element

43、s for machine processing DCMES is syntax independent,北京大学研究生课程进修班 2005 上海,Element name and semantics,Element Name: Title Label: Title Semantics: A name given to the resource. Comment: Typically, Title will be a name by which the resource is formally known.Element Name: Creator Label: Creator Semanti

44、cs: An entity primarily responsible for making the content of the resource. Comment: Examples of Creator include a person, an organization, or a service. Typically, the name of a Creator should be used to indicate the entity.,北京大学研究生课程进修班 2005 上海,DC qualifiers,To extend and refine the 15 elements Tw

45、o categories of qualifiers: Element Refinement These qualifiers make the meaning of an element narrower or more specific. A refined element shares the meaning of the unqualified element, but with a more restricted scope. Encoding Scheme These qualifiers identify schemes that aid in the interpretatio

46、n of an element value. These schemes include controlled vocabularies and formal notations or parsing rules.,北京大学研究生课程进修班 2005 上海,DCMI Terms,Authoritative specification of all metadata terms related to DC, including elements, element refinements, encoding schemes, vocabulary terms Maintained by the D

47、C Usage Board Contained in the DCMI Metadata Registry,北京大学研究生课程进修班 2005 上海,Syntax,DCMI avoided the syntax wars But interoperability? Now provides specifications for encoding DC simple and DC qualified in: HTML elements XML according to DCMES XML schemas RDF according to DCMES RDF schemas,北京大学研究生课程进修

48、班 2005 上海,Application profiles,Consist of data elements drawn from one or more namespace schemas combined together by implementors and optimised for a particular local application. Application profiles are useful as they allow the implementor to declare how they are using standard schemas Characteri

49、stics: May draw on one or more existing namespaces Introduce no new data elements May specify permitted schemes and values Can refine standard definitions Application profiles enable implementors “to share information about their schemas in order to inter-work with wider groupings. Communities can start to align practice and develop common approaches by sharing their application profiles.”,