Progress jihee

From CSBLwiki

(Difference between revisions)

Jump to: navigation, search

Latest revision as of 03:05, 14 June 2011

mycopedia

[1] 정리가 어느정도 된것 같습니다

Project

목표:진균계를 웹상에서 깔끔하게 분류 하고 데이터를 입력하여 유용하게 쓰이도록 한다.

step1: NCBI에서 받은 데이터를 파이썬 으로 Fungi만 뽑아내 fungi의 계통 데이터를 만들어 활용할수있도록 하자?! 입니다.
- 뭐가 필요한가?:파일이 두개이고 한파일안의 두데이터를 key와 value로 나눠 서 원하는 데이터를 활용 하기 위하여 파일을 불러와서 활용하는것과 데이터를 이용하는것에 기초와 능숙하게 쓸수있도록 하는것이 필요함
step2
- 위에서 뽑아낸 데이터를 위키에서 페이지를 만들수 있도록 [링크,이름]으로만들어주는 스크립트를 짜서 활용.
- 위키문법과 위키를 제대로 활용하기 위한 방법에 대한것

결과링크:http://mycopedia.org/index.php?title=Phloeospora&redirect=no

step3 NCBI에서 18s rRNA 데이터만 추출 하고, 그것을 쉽게 데이터 활용할수있도록 함
step4 웹상에서 깔끔하게 편리하게 보일수있도록 할수있어야함

Progress

kucdata mycopedia

http://mycopedia.org/index.php/KUC_fungi

ncbi

결과물:http://mycopedia.org/index.php/Fungi hypergraph :http://compbio.korea.ac.kr/~unjgs/

1.ncbi taxonomy data에서 fungi 의 데이터만 뽑아냈습니다

-file1:Id-name, file2:parent Id-child Id

2.file2를 이용해 부모-자식-자식-자식-...-자식의 텍스트 파일(fungi)을 만들었습니다.

3.위의fungi file과 file1을 사전형식으로 이용하여 각각의 Id를 file name 으로 하는 txt 파일을만들었고

이 Id에 속하는 child Id 들의 페이지를 child name 으로 링크시켰고, 나중에 각각 페이지를 어떻게

활용할지 몰라서 제 임의대로

`=Dangeardiella macrospora=

`===classification===

`ID: 100009

`name: Dangeardiella macrospora

`==Description and Significance==

`==Genome Structure==

`==Cell Structure and Metabolism==

`==Ecology==

이런식으로 분류(?)목록을 만들었습니다.

4. 교수님께서 링크해주신 자료를 바탕으로 이 text 파일들을 어떻게

mycopedia 로 보낼지 찾아보다가,pywikipedia를 찾을수 있었고,

이것을 이용하여 파일을 mycopedia 홈페이지로 올리고 있습니다.

- 이 방법은 단 하나의 텍스트 파일안에 지정된 표시를 이용하여 여러 페이지로 나눠서 올릴수 있는 방법이고,

(위의 6만개 파일을 1개의 파일 로 만들어서 올릴수 있었습니다.)

파일을 페이지로 만드는 것 뿐 아니라 다른것들도 많이 있는것 같습니다.

하지만 한페이지를 만드는데 걸리는시간이 9.5초로 모든 페이지를 만들려면

6.5일이 걸리는데 이것이 오래 걸리는것인지 빠른것인지 감이 오질 않습니다.

(혹시 제가 잘못하고 있는건지,어떤 문제가 있어서 느린것인지..괜찮게 걸리는건지 감이 안옵니다.)

-페이지이름을 영문 이름으로 하면 오류가 날것같고 올릴때 문제가 있을것 같아서 taxonomy id 를 페이지 이름으로 했는데

페이지를 이름으로 만들어야 했던 것이었나 싶습니다. id로 만들어도 문제가 없는것일까요? 검색을 했을때 이름으로

검색을 하면 페이지가 뜨지 않는것이 좀 많이 걸리는 부분 입니다 .(그래서 지금 이름을 페이지로 하는것으로 다시 만들고 있습니다.)

-이름 페이지와 id 페이지를 둘다 만들기로 했고 , id 페이지엔 이름페이지를 링크를 걸은 페이지를 올리기로 하였습니다.

5.앞으로 해야할일:

한성선배가hypergraph를 알려주셔서 이것을 이용하여 홈페이지에 활용할수있으면

좋을것 같고, wiki template를 잘 알면 좀더 좋은 모양의 페이지를 만들수있다고 알려주셔서 이것을 공부 해봐야 할것 같습

니다.

hypergraph 완료

Reference

wiki formatting - 위키문서작성시 참고

Mediawiki Import: 대량의 텍스트를 위키문서로 전환?

여러가지 화일형식으로부터 위키문서로 전환하는 방법들 - 여기에다 자동으로 위키에다 업로드까지 하면 데이터입력이 아주 쉽겠다

@@ Line 1: / Line 1: @@
-{| align=left cellpadding=20
+{| align=right cellpadding=20
 |__TOC__
 |}
+==mycopedia==
+[http://mycopedia.org/index.php/Main_Page]
+정리가 어느정도 된것 같습니다
 ==Project==
 *[http://mycopedia.org/index.php/Main_Page Mycopedia]
 *[http://www.mycoremed.org Mycoremed]
-*목표:진균계를 웹상에서 깔끔하게 분류 하고 데이터를 입력하여 유용하게 쓰이도록 한다 .
+*목표:진균계를 웹상에서 깔끔하게 분류 하고 데이터를 입력하여 유용하게 쓰이도록 한다.
 *step1: NCBI에서 받은 데이터를 파이썬 으로 Fungi만 뽑아내 fungi의 계통 데이터를 만들어 활용할수있도록 하자?! 입니다.
-** 뭐가 필요한가?:파일이 두개이고 두데이터를 key와 value로 나눠 서 원하는 데이터를 활용 하기 위하여 파일을 불러와서 활용하는것과 데이터를 이용하는것에 기초와 능숙하게 쓸수있도록 하는것이 필요함
+** 뭐가 필요한가?:파일이 두개이고 한파일안의 두데이터를 key와 value로 나눠 서 원하는 데이터를 활용 하기 위하여 파일을 불러와서 활용하는것과 데이터를 이용하는것에 기초와 능숙하게 쓸수있도록 하는것이 필요함
 *step2
 **위에서 뽑아낸 데이터를 위키에서 페이지를 만들수 있도록 [링크,이름]으로만들어주는 스크립트를 짜서 활용.
 **위키문법과 위키를 제대로 활용하기 위한 방법에 대한것
+결과링크:http://mycopedia.org/index.php?title=Phloeospora&redirect=no
 *step3 NCBI에서 18s rRNA 데이터만 추출 하고, 그것을 쉽게 데이터 활용할수있도록 함
 *step4 웹상에서 깔끔하게 편리하게 보일수있도록 할수있어야함
 ==Progress==
-*2011.1.19:
+===kucdata mycopedia===
-*파이썬: 데이터를 활용할 스크립트를 짜봄 ( 파일을 한줄씩 불러오는게 문제인지 잘안되고,이것을 활용할 기초가 부족함)
+http://mycopedia.org/index.php/KUC_fungi
-기초 부터 천천히:숫자를 입력하면 그숫자의 구구단이 나오는 스크립트와 화씨를 섭씨로 바꾸는 스크립트를 짜보고,함수에 대해 공부함
-*균류생물학 책을 읽음 (2장:균류및 유사균류의 다양성 - 진균계 와 각 문 들과 대표되는 종들 의 특성과 어떻게 분류되어있는지에 대한..)
-*R 스터디 -화요일에 발표할 5장의 내용에 대한 정리를 함
-*2011.1.18
+===ncbi ===
-**ncbi 에서 가져온데이터 들을 보며 데이터가 어떤식으로 되었는지 이해하고 , 파이썬을 어떻게 이용 해서 데이터를 뽑아낼지 생각해봄
+결과물:http://mycopedia.org/index.php/Fungi
-각각마다 두개의 숫자를 가지고 있고 한가지는 자신의 부모, 그리고 하난 자신으로 되어 있기 때문에 파일에서 불러온 데이터를 묶고 이 데이터가 가지고 있는 두개의 숫자를 따로따로 지정하되 하나의 데이터로인식하게 해서 두개의 숫자가 같아질때 까지 과정을 반복하게 하면 될것 같은데 아직
+hypergraph :http://compbio.korea.ac.kr/~unjgs/
-파이썬을 제대로 몰라서 우선은 기본부터 천천히 해야 될것 같다.
-:*R 스터디 -화요일 저녁7시부터.
-:*여러가지 화일형식으로부터 [http://en.wikipedia.org/wiki/Wikipedia:Tools/Editing_tools#Wikisyntax_conversion_utilities 위키문서로 전환하는 방법들] - <b>여기에다 자동으로 위키에다 업로드까지 하면 데이터입력이 아주 쉽겠다</b>
+.ncbi taxonomy data에서 fungi 의 데이터만 뽑아냈습니다
+-file1:Id-name,  file2:parent Id-child Id
-*2011.1.17
+.file2를 이용해 부모-자식-자식-자식-...-자식의 텍스트 파일(fungi)을 만들었습니다.
-**파이썬 1~110 페이지
-**for문을 읽어보면서 나중에 리스트 뽑으면 링크로 만들을 형식을 짜봤는데 이걸 약간 수정해서 씀 될듯 하다 .
-*2011.1.15
-** 한성오빠한테 mycopedia 에대한 설명을 듣고,위키문법으로 테이블 만드는 법을 공부했다.(위키 문법으로 만들었는데 테이블 만드는 방법이 조금복잡하게 나와있고 이해가 잘 안가서 이해하는데 조금 걸렸다.)
-** 표를 만들때 가로 방향으로 채워가면서 정해가는거였다.안에 내용을 채울때 한번에 채우는 방법이 있을지도 모른다는 생각이 들었는데 내가 지금 할수있는게 채워 넣으면서 만드는것 밖에 모르겠다.
-** [http://mycopedia.org/index.php/Main_Page 링크]
+.위의fungi file과 file1을 사전형식으로 이용하여 각각의 Id를 file name 으로 하는 txt 파일을만들었고
+이 Id에 속하는 child Id 들의 페이지를 child name 으로 링크시켰고, 나중에 각각 페이지를 어떻게
+활용할지 몰라서 제 임의대로
-*2011.1.14
+`=Dangeardiella macrospora=
-*# statistic using R with biological Examples 59p까지 보면서 예제 따라함
-*# 그래프 활용에 대한 프린트를 보며 따라해봄
-*# 대청소함
+`===classification===
-** 앞에 2일동안은 쉬웠는데 점점 어려워진다.따라하는건 쉬운데 내가 원하는것을 쉽게쉽게 쓰려면 한참 남은것 같다.
-** 오늘 남은 해야할일:미디어 위키에 대해 알아보기,영어
+`ID: 100009
+`name: Dangeardiella macrospora
+`==Description and Significance==
+`==Genome Structure==
+`==Cell Structure and Metabolism==
+`==Ecology==
+이런식으로 분류(?)목록을 만들었습니다.
+. 교수님께서 링크해주신 자료를 바탕으로 이 text 파일들을 어떻게
+mycopedia 로 보낼지 찾아보다가,pywikipedia를 찾을수 있었고,
+이것을 이용하여 파일을 mycopedia 홈페이지로 올리고 있습니다.
+- 이 방법은 단 하나의 텍스트 파일안에 지정된 표시를 이용하여 여러 페이지로 나눠서 올릴수 있는 방법이고,
+(위의 6만개 파일을 1개의 파일 로 만들어서 올릴수 있었습니다.)
+파일을 페이지로 만드는 것 뿐 아니라 다른것들도 많이 있는것 같습니다.
+하지만 한페이지를 만드는데 걸리는시간이 9.5초로 모든 페이지를 만들려면
+.5일이 걸리는데 이것이 오래 걸리는것인지 빠른것인지 감이 오질 않습니다.
+(혹시 제가 잘못하고 있는건지,어떤 문제가 있어서 느린것인지..괜찮게 걸리는건지 감이 안옵니다.)
+-페이지이름을 영문 이름으로 하면 오류가 날것같고 올릴때 문제가 있을것 같아서 taxonomy id 를 페이지 이름으로 했는데
+페이지를 이름으로 만들어야 했던 것이었나 싶습니다. id로 만들어도 문제가 없는것일까요? 검색을 했을때 이름으로
+검색을 하면 페이지가 뜨지 않는것이 좀 많이 걸리는 부분 입니다 .(그래서 지금 이름을 페이지로 하는것으로 다시 만들고 있습니다.)
+-이름 페이지와 id 페이지를 둘다 만들기로 했고 , id 페이지엔 이름페이지를 링크를 걸은 페이지를 올리기로 하였습니다.
+.앞으로 해야할일:
+한성선배가[http://hypergraph.sourceforge.net hypergraph]를 알려주셔서 이것을 이용하여 홈페이지에 활용할수있으면
+좋을것 같고, wiki template를 잘 알면 좀더 좋은 모양의 페이지를 만들수있다고 알려주셔서 이것을 공부 해봐야 할것 같습
+니다.
+hypergraph 완료
 ==Reference==
 *[http://www.mediawiki.org/wiki/Help:Formatting wiki formatting] - 위키문서작성시 참고
+;Mediawiki Import
+:[http://xpt.sourceforge.net/techdocs/language/wiki/wikimedia/wkm07-MediaWikiImport/ 대량의 텍스트를 위키문서로 전환?]
+:*여러가지 화일형식으로부터 [http://en.wikipedia.org/wiki/Wikipedia:Tools/Editing_tools#Wikisyntax_conversion_utilities 위키문서로 전환하는 방법들] - <b>여기에다 자동으로 위키에다 업로드까지 하면 데이터입력이 아주 쉽겠다</b>

Progress jihee

From CSBLwiki

Latest revision as of 03:05, 14 June 2011

Contents

mycopedia

Project

Progress

kucdata mycopedia

ncbi

Reference

Personal tools

Namespaces

Variants

Views

Actions

Search

Site

Choi lab

Resources

Toolbox