Progress jihee
From CSBLwiki
|
mycopedia
[1] 정리가 어느정도 된것 같습니다
Project
- 목표:진균계를 웹상에서 깔끔하게 분류 하고 데이터를 입력하여 유용하게 쓰이도록 한다.
- step1: NCBI에서 받은 데이터를 파이썬 으로 Fungi만 뽑아내 fungi의 계통 데이터를 만들어 활용할수있도록 하자?! 입니다.
- 뭐가 필요한가?:파일이 두개이고 한파일안의 두데이터를 key와 value로 나눠 서 원하는 데이터를 활용 하기 위하여 파일을 불러와서 활용하는것과 데이터를 이용하는것에 기초와 능숙하게 쓸수있도록 하는것이 필요함
- step2
- 위에서 뽑아낸 데이터를 위키에서 페이지를 만들수 있도록 [링크,이름]으로만들어주는 스크립트를 짜서 활용.
- 위키문법과 위키를 제대로 활용하기 위한 방법에 대한것
결과링크:http://mycopedia.org/index.php?title=Phloeospora&redirect=no
- step3 NCBI에서 18s rRNA 데이터만 추출 하고, 그것을 쉽게 데이터 활용할수있도록 함
- step4 웹상에서 깔끔하게 편리하게 보일수있도록 할수있어야함
Progress
kucdata mycopedia
http://mycopedia.org/index.php/KUC_fungi
ncbi
결과물:http://mycopedia.org/index.php/Fungi hypergraph :http://compbio.korea.ac.kr/~unjgs/
1.ncbi taxonomy data에서 fungi 의 데이터만 뽑아냈습니다
-file1:Id-name, file2:parent Id-child Id
2.file2를 이용해 부모-자식-자식-자식-...-자식의 텍스트 파일(fungi)을 만들었습니다.
3.위의fungi file과 file1을 사전형식으로 이용하여 각각의 Id를 file name 으로 하는 txt 파일을만들었고
이 Id에 속하는 child Id 들의 페이지를 child name 으로 링크시켰고, 나중에 각각 페이지를 어떻게
활용할지 몰라서 제 임의대로
`=Dangeardiella macrospora=
`===classification===
`ID: 100009
`name: Dangeardiella macrospora
`==Description and Significance==
`==Genome Structure==
`==Cell Structure and Metabolism==
`==Ecology==
이런식으로 분류(?)목록을 만들었습니다.
4. 교수님께서 링크해주신 자료를 바탕으로 이 text 파일들을 어떻게
mycopedia 로 보낼지 찾아보다가,pywikipedia를 찾을수 있었고,
이것을 이용하여 파일을 mycopedia 홈페이지로 올리고 있습니다.
- 이 방법은 단 하나의 텍스트 파일안에 지정된 표시를 이용하여 여러 페이지로 나눠서 올릴수 있는 방법이고,
(위의 6만개 파일을 1개의 파일 로 만들어서 올릴수 있었습니다.)
파일을 페이지로 만드는 것 뿐 아니라 다른것들도 많이 있는것 같습니다.
하지만 한페이지를 만드는데 걸리는시간이 9.5초로 모든 페이지를 만들려면
6.5일이 걸리는데 이것이 오래 걸리는것인지 빠른것인지 감이 오질 않습니다.
(혹시 제가 잘못하고 있는건지,어떤 문제가 있어서 느린것인지..괜찮게 걸리는건지 감이 안옵니다.)
-페이지이름을 영문 이름으로 하면 오류가 날것같고 올릴때 문제가 있을것 같아서 taxonomy id 를 페이지 이름으로 했는데
페이지를 이름으로 만들어야 했던 것이었나 싶습니다. id로 만들어도 문제가 없는것일까요? 검색을 했을때 이름으로
검색을 하면 페이지가 뜨지 않는것이 좀 많이 걸리는 부분 입니다 .(그래서 지금 이름을 페이지로 하는것으로 다시 만들고 있습니다.)
-이름 페이지와 id 페이지를 둘다 만들기로 했고 , id 페이지엔 이름페이지를 링크를 걸은 페이지를 올리기로 하였습니다.
5.앞으로 해야할일:
한성선배가hypergraph를 알려주셔서 이것을 이용하여 홈페이지에 활용할수있으면
좋을것 같고, wiki template를 잘 알면 좀더 좋은 모양의 페이지를 만들수있다고 알려주셔서 이것을 공부 해봐야 할것 같습
니다.
hypergraph 완료
Reference
- wiki formatting - 위키문서작성시 참고
- Mediawiki Import
- 대량의 텍스트를 위키문서로 전환?
- 여러가지 화일형식으로부터 위키문서로 전환하는 방법들 - 여기에다 자동으로 위키에다 업로드까지 하면 데이터입력이 아주 쉽겠다
