Hdf5 형식 파일이란 ?

Xilinx ML Suite의 Benchmark 예제를 돌리던 중 Hdf5 형식의 파일들이 빈번하게 보여서 이번에 한번 제대로 알아보고자 한다.

 

먼저 자세한 사항은 아래 링크를 참고하면 이해하는데 도움이 될 것이다.

https://www.hdfgroup.org/hdf5/

 

그럼 이제 Hdf5 형식에 대해 알아보자.

 

Hdf5 파일 형식은 계층적 데이터 형식 (Hierarchical Data Format, HDF)는 HDF Group에 의해 관리되고 있는 대용량의 데이터를 저장하기 위한 파일 형식을 일컫는다.

 

HDF5 is a data model, library, and file format for storing and managing data. It supports an unlimited variety of datatypes, and is designed for flexible and efficient I/O and for high volume and complex data. HDF5 is portable and is extensible, allowing applications to evolve in their use of HDF5. The HDF5 Technology suite includes tools and applications for managing, manipulating, viewing, and analyzing data in the HDF5 format.

 (https://www.hdfgroup.org/hdf5 의 내용 중 일부 발췌)

 

즉, Xilinx ML Suite의 예제에선 network weights를 표현하기 위해 사용되는 것이다. 이 파일 형식의 장점은 아래와 같다.

 

- XML과 동일하게 자기 기술적으로 구성되어 있어 데이터 형식을 파일 안에 기술이 가능함.

 

- 많은 양의 데이터를 저장 가능 → 빅데이터에 효율적

 

- 검색 속도가 빠름

 

- 병렬 입출력을 지원

 

- 데이터의 무작위 조회가 가능

 

- 20년 이상 개발되어 온 포맷이므로 안정성 확보

 

- 여러가지 프로그래밍 언어와 오픈소스 라이브러리 API가 지원됨.