데이터 분석에 필요한 오픈 공공데이터 포털 20가지

이번게시물에서는 오픈데이터 포럼을 20 가지 골라 드리겠습니다. 당신의 데이터 분석에 도움이 되시길 바랍니다.

공공데이터 포털

추천 책: 2019 모두의 오픈 데이터포럼

정부의 공개 정보

정부가 공개하고 있는 데이터 량이 상당히 증가하고 있을 뿐만 아니라, 데이터의 질도 향상되고 있습니다. 우리 나라 경우는 국가에서 보유하고 있는 다양한 데이터를 『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유할 수 있도록 하는 공공데이터포털이라는 사이트를 제공합니다. 우리는 데이터 수집할 때, 한국 정부 뿐만아니라, 자주 사용하는 다른 국가의 데이터 플랫폼을 알아야 합니다.

​

1.한국 공공데이터 포털 https://www.data.go.kr/

​

2.일본통계국: http://www.stat.go.jp/

​

3.미국정부 공개자료 : https://www.data.gov/

​

4.영국 국립 데이터센터: https://data.gov.uk/

​

5.EU정보플랫폼 : https://www.europeandataportal.eu/

​

6.중국국립데이터센터 : http://data.stats.gov.cn/

​

7.홍콩정부 데이터센터 : https://data.gov.hk/ja/

​

8.대만정부 정보공개 플랫폼 : https://data.gov.tw/

9. 통합 데이터 포털 https://opendatainception.io/

Google로 검색하지 않으려면 이 웹사이트를 사용할 수도 있습니다.

이 사이트는 세계 각지에 2,600개가 넘는 오픈 데이터 포털을 통합하여 지도로 검색할 수 있는 네비게이션 사이트입니다.

국제조직의 통계 데이터

10.경제협력개발기구(OECD) 데이터베이스: https://data.oecd.org/

각국의 인구, 세금, 수출입, 경제상황, 글로벌 경제상황 등의 경제데이터는 국가나 데이터별로 검색할 수 있습니다. 한번에 여러 나라의 데이터를 비교하고자 할 경우, 각국의 데이터 플랫폼을 일일이 검색하는 것보다 OECD에 서 데이터 검색하는 건 덜 쉽니다.

11. 세계은행 공개정보 : https://data.worldbank.org/

기후, 대출, 경제, 교육, 인구 등의 정보는 매우 전면적이며 다운로드 가능합니다.

12. 세계보건기구 : http://apps.who.int/gho/data/node.home

여기서 헬스케어에 대한 정보를 얻을 수 있습니다. 최근 AI 의료의 발전에 따라 예방접종, 질병의 전처리, 약물, 영양 등에 관한 데이터가 증가하고 있습니다. WHO는 최신의 정보를 폭넓게 제공하고 있을 예정입니다.

​

그 외 , 미국 항공 우주국(NASA)도 데이터를 공개하고 있습니다.필요에 따라서 검색해 주세요.

기업/ 플랫폼 데이터베이스

13.github : https://github.com/awesomedata/awesome-public-datasets

github는 풍부하고 유용한 정보를 가지고 있는 플랫폼으로 유명했습니다.

​

이 유명한 플랫폼이 잘 알려질 거라고 생각해요. 농업, 기후, 경제, 교육, 에너지, 금융… 거의 전부 정보를 휩쓸었습니다.

​

이것은 일부의 데이터베이스틔 디렉토리를 나타냅니다.

14. Google BigQuery 공개 데이터셋 : https://cloud.google.com/bigquery/public-data/

이것은 완전 무료는 아니고 1T가 넘으면 지불하셔야 합니다. 주로 미국의 정보는 많지만 데이터 분석의 자원으로 이용하면 충분합니다.

15. 유튜브 데이터셋 : https://research.google.com/youtube8m/index.html

유튜브 데이터가 필요하신 분들께 추천합니다.

16. 구글 오픈데이터 검색 :

http://www.google.com/publicdata/directory?hl=en_US&dl=ja

구글 검색에서 모든 네트워크의 데이터를 검색할 수 있지만, 구글 오픈 데이터 검색에서는 데이터베이스만 검색할 수 있는 것입니다. 언어를 바꾸면 해당 언어에 대응하는 데이터베이스의 결과가 나온다고 말합니다.

17.Google Trend Search : https://trends.google.com/trends/

트렌드에 관심이 많으신 분, 마케팅이나 영업을 하신 분에게 Google Trend Search를 추천해 드립니다. 국가별로 트렌드를 체크할 수 있으며, 구글에서의 키워드 인기도를 다운로드하여 분석할 수 있습니다. 같은 키워드가 다른 나라의 인기도를 비교할 수 있습니다.

18. 아마존 aws: https://aws.amazon.com/cn/datasets/

아마존의 크로스 사이언스의 데이터 플랫폼으로 화학, 생물학, 경제 등 여러 분야의 데이터 세트가 포함되어 있습니다. 전인류의 유전정보 데이터베이스를 구축하려는 1000개의 게놈프로젝트와 NASA의 위성영상 데이터베이스까지 포함됩니다.

이외에도 어떤 포털이 있는가?

19.MNIST 수기 숫자 데이터베이스: http://yann.lecun.com/exdb/mnist/

수기(手) 숫자 화상 인식의 데이터 세트로서, MNIST 수기 데이터베이스는 60,000사례의 트레이닝 세트 및 10,000사례의 테스트 세트가 있습니다.

20.UCI 머신러닝 데이터베이스: https://archive.ics.uci.edu/ml/datasets.html

UCI 머신러닝 라이브러리는 머신러닝 알고리즘의 실증연구를 위해 영역이론과 데이터 제너레이터를 결합한 데이터베이스입니다. 머신러닝 데이터 세트의 주요한 소스로서 전세계의 학생, 교육자, 연구자에 의해서 넓게 사용되고 있습니다.