ラベル work の投稿を表示しています。 すべての投稿を表示
ラベル work の投稿を表示しています。 すべての投稿を表示

2011年4月10日日曜日

4/10

APUノードだが、CentOS 5.6にしたところ、無事にインストールできた。
次はOpenCLプログラミング環境をセットアップする。
嵌らないことを願いたい。

[OS] CnetOS 5.6
[MB] E35M1-I DELUXE

2011年2月21日月曜日

2/21

Marsを動作させようと奮闘。
結果的に、Marsをダウンロードする場所を間違えて、古いのを使っていたのが失敗要因だった。
原因究明を手伝ってくれたI君とU君、ありがとう。

新しいCUDA SDKを拾ってコンパイルし直すと、今度はうまく動作。
最後に一応結果を掲載します。

今後Marsを拡張するなら、他のSDKなどへの依存がないよう作り直すべきだろうか。

計算結果 Fermi GTX460

running test suite...
==========Similarity Score=========
PCI-E I/O: 8.954000ms
Map: 34.964000ms
Group: 85.582000ms
all-test: 164.454000ms
==========StringMatch=========
io-test: 555.225000ms
PCI-E I/O: 0.107000ms
Map: 5.742000ms
all-test: 561.273000ms
==========MatrixMul=========
generate two 1024x1024 matrice...
rotate matrix2: 575.593000ms
PCI-E I/O: 20.445000ms
Map: 325.586000ms
all-test: 421.117000ms
==========InvertdIndex=========
generating 28 MB data...
io-test: 591.807000ms
PCI-E I/O: 0.736000ms
Map: 59.946000ms
Group: 145.929000ms
all: 799.424000ms
==========PageViewCount=========
rm Gen
gcc -o Gen main.c
generating data...
preprocess: 696.710000ms
PCI-E I/O: 16.061000ms
Map: 24.795000ms
Group: 251.808000ms
Reduce: 8.789000ms
PCI-E I/O: 15.979000ms
Map: 99.858000ms
Group: 2026.143000ms
all: 3159.068000ms
==========PageViewRank=========
rm Gen
gcc -o Gen main.c
generating data...
io-test: 736.345000ms
PCI-E I/O: 10.029000ms
Map: 6.983000ms
Group: 191.776000ms
count: 2147482603, offset: 25070899
count: 2147480853, offset: 30364534
count: 2147478632, offset: 14685990
count: 2147474733, offset: 34364671
count: 2147473550, offset: 36486720
count: 2147470289, offset: 30271619
count: 2147465831, offset: 9384424
count: 2147460496, offset: 8174314
count: 2147459207, offset: 21390190
count: 2147456172, offset: 23958395
all-test: 983.356000ms
==========WordCount=========
preprocess: 549.211000ms
PCI-E I/O: 0.087000ms
Map: 10.612000ms
Group: 2.005000ms
all: 562.383000ms
# of words:373
ACCESS - size: 7 - count: 12
ACHIEVE - size: 8 - count: 4
ADDITION - size: 9 - count: 16
ADDITIONAL - size: 11 - count: 8
ADVANCEMENT - size: 12 - count: 20
ADVANCES - size: 9 - count: 4
AFFORD - size: 7 - count: 4
AGAINST - size: 8 - count: 20
ALASKA - size: 7 - count: 16
ALWAYS - size: 7 - count: 4
==========Kmeans=========
preprocess: 2.273000ms
PCI-E I/O: 0.988000ms
Map: 1.180000ms
Group: 8.722000ms
Reduce: 9.396000ms
PCI-E I/O: 0.980000ms
Map: 1.106000ms
Group: 8.911000ms
Reduce: 8.368000ms
PCI-E I/O: 0.973000ms
Map: 1.161000ms
Group: 9.208000ms
Reduce: 7.768000ms
PCI-E I/O: 0.969000ms
Map: 1.118000ms
Group: 9.031000ms
Reduce: 7.416000ms
PCI-E I/O: 0.974000ms
Map: 1.175000ms
Group: 8.886000ms
Reduce: 7.159000ms
PCI-E I/O: 0.973000ms
Map: 1.111000ms
Group: 9.001000ms
Reduce: 6.870000ms
PCI-E I/O: 0.977000ms
Map: 1.179000ms
Group: 9.287000ms
Reduce: 6.752000ms
PCI-E I/O: 0.969000ms
Map: 1.116000ms
Group: 9.064000ms
Reduce: 6.587000ms
PCI-E I/O: 0.995000ms
Map: 1.162000ms
Group: 8.911000ms
Reduce: 6.611000ms
PCI-E I/O: 0.982000ms
Map: 1.121000ms
Group: 9.026000ms
Reduce: 6.548000ms
PCI-E I/O: 0.990000ms
Map: 1.182000ms
Group: 9.318000ms
Reduce: 6.556000ms
PCI-E I/O: 0.991000ms
Map: 1.133000ms
Group: 9.066000ms
Reduce: 6.478000ms
PCI-E I/O: 0.986000ms
Map: 1.189000ms
Group: 8.887000ms
Reduce: 6.458000ms
PCI-E I/O: 0.995000ms
Map: 1.141000ms
Group: 9.006000ms
Reduce: 6.486000ms
PCI-E I/O: 0.999000ms
Map: 1.217000ms
Group: 9.309000ms
Reduce: 6.483000ms
PCI-E I/O: 0.997000ms
Map: 1.137000ms
Group: 9.084000ms
Reduce: 6.455000ms
PCI-E I/O: 0.989000ms
Map: 1.184000ms
Group: 8.941000ms
Reduce: 6.402000ms
PCI-E I/O: 0.984000ms
Map: 1.143000ms
Group: 9.072000ms
Reduce: 6.452000ms
PCI-E I/O: 0.987000ms
Map: 1.237000ms
Group: 9.370000ms
Reduce: 6.481000ms
PCI-E I/O: 0.998000ms
Map: 1.161000ms
Group: 9.152000ms
Reduce: 6.492000ms
PCI-E I/O: 1.008000ms
Map: 1.192000ms
Group: 8.946000ms
Reduce: 6.423000ms
PCI-E I/O: 0.979000ms
Map: 1.151000ms
Group: 9.053000ms
Reduce: 6.439000ms
PCI-E I/O: 1.022000ms
Map: 1.224000ms
Group: 9.358000ms
Reduce: 6.478000ms
PCI-E I/O: 1.028000ms
Map: 1.179000ms
Group: 9.129000ms
Reduce: 6.468000ms
PCI-E I/O: 1.005000ms
Map: 1.209000ms
Group: 8.985000ms
Reduce: 6.529000ms
PCI-E I/O: 1.013000ms
Map: 1.184000ms
Group: 9.105000ms
Reduce: 6.489000ms
PCI-E I/O: 0.998000ms
Map: 1.233000ms
Group: 9.440000ms
Reduce: 6.477000ms
PCI-E I/O: 1.006000ms
Map: 1.161000ms
Group: 9.142000ms
Reduce: 6.553000ms
PCI-E I/O: 1.016000ms
Map: 1.228000ms
Group: 8.938000ms
Reduce: 6.560000ms
PCI-E I/O: 1.171000ms
Map: 1.273000ms
Group: 9.129000ms
Reduce: 6.491000ms
PCI-E I/O: 1.053000ms
Map: 1.279000ms
Group: 9.391000ms
Reduce: 6.543000ms
PCI-E I/O: 1.039000ms
Map: 1.210000ms
Group: 9.146000ms
Reduce: 6.536000ms
PCI-E I/O: 1.039000ms
Map: 1.249000ms
Group: 8.966000ms
Reduce: 6.595000ms
PCI-E I/O: 1.042000ms
Map: 1.212000ms
Group: 9.062000ms
Reduce: 6.576000ms
PCI-E I/O: 1.047000ms
Map: 1.292000ms
Group: 9.435000ms
Reduce: 6.504000ms
PCI-E I/O: 1.044000ms
Map: 1.213000ms
Group: 9.207000ms
Reduce: 6.544000ms
PCI-E I/O: 1.051000ms
Map: 1.267000ms
Group: 8.976000ms
Reduce: 6.546000ms
PCI-E I/O: 1.054000ms
Map: 1.218000ms
Group: 9.125000ms
Reduce: 6.600000ms
PCI-E I/O: 1.063000ms
Map: 1.289000ms
Group: 9.451000ms
Reduce: 6.581000ms
PCI-E I/O: 1.058000ms
Map: 1.212000ms
Group: 9.241000ms
Reduce: 6.581000ms
PCI-E I/O: 1.051000ms
Map: 1.263000ms
Group: 8.957000ms
Reduce: 6.583000ms
all: 746.297000ms


tesla C1060
running test suite...
==========Similarity Score=========
PCI-E I/O: 8.715000ms
Map: 56.532000ms
Cuda error in file 'MarsSort.cu' in line 978 : unspecified launch failure.
==========StringMatch=========
io-test: 50.755000ms
PCI-E I/O: 0.171000ms
Map: 1051.171000ms
all-test: 1102.357000ms
==========MatrixMul=========
generate two 1024x1024 matrice...
rotate matrix2: 57.361000ms
PCI-E I/O: 19.936000ms
Map: 294.171000ms
all-test: 389.633000ms
==========InvertdIndex=========
generating 28 MB data...
io-test: 95.979000ms
PCI-E I/O: 0.813000ms
Map: 48.929000ms
Cuda error in file 'MarsSort.cu' in line 1047 : unspecified launch failure.
==========PageViewCount=========
rm Gen
gcc -o Gen main.c
generating data...
preprocess: 190.078000ms
PCI-E I/O: 15.911000ms
Map: 38.648000ms
Cuda error in file 'MarsSort.cu' in line 978 : unspecified launch failure.
==========PageViewRank=========
rm Gen
gcc -o Gen main.c
generating data...
io-test: 220.167000ms
PCI-E I/O: 9.934000ms
Map: 7.805000ms
Cuda error in file 'MarsSort.cu' in line 1047 : unspecified launch failure.
==========WordCount=========
preprocess: 47.811000ms
PCI-E I/O: 0.134000ms
Map: 12.250000ms
Group: 3.541000ms
all: 64.294000ms
# of words:373
ACCESS - size: 7 - count: 12
ACHIEVE - size: 8 - count: 4
ADDITION - size: 9 - count: 16
ADDITIONAL - size: 11 - count: 8
ADVANCEMENT - size: 12 - count: 20
ADVANCES - size: 9 - count: 4
AFFORD - size: 7 - count: 4
AGAINST - size: 8 - count: 20
ALASKA - size: 7 - count: 16
ALWAYS - size: 7 - count: 4
==========Kmeans=========
preprocess: 2.085000ms
PCI-E I/O: 1.151000ms
Map: 2.921000ms
Group: 10.451000ms
Reduce: 8.029000ms
PCI-E I/O: 1.081000ms
Map: 2.926000ms
Group: 10.566000ms
Reduce: 6.691000ms
PCI-E I/O: 1.094000ms
Map: 2.973000ms
Group: 10.842000ms
Reduce: 6.225000ms
PCI-E I/O: 1.080000ms
Map: 2.946000ms
Group: 10.577000ms
Reduce: 5.944000ms
PCI-E I/O: 1.102000ms
Map: 2.985000ms
Group: 10.468000ms
Reduce: 5.989000ms
PCI-E I/O: 1.092000ms
Map: 2.953000ms
Group: 10.586000ms
Reduce: 5.926000ms
PCI-E I/O: 1.099000ms
Map: 3.031000ms
Group: 10.865000ms
Reduce: 5.898000ms
PCI-E I/O: 1.100000ms
Map: 2.960000ms
Group: 10.574000ms
Reduce: 5.740000ms
PCI-E I/O: 1.115000ms
Map: 2.994000ms
Group: 10.458000ms
Reduce: 5.673000ms
PCI-E I/O: 1.114000ms
Map: 2.959000ms
Group: 10.624000ms
Reduce: 5.615000ms
PCI-E I/O: 1.112000ms
Map: 3.027000ms
Group: 10.904000ms
Reduce: 5.677000ms
PCI-E I/O: 1.119000ms
Map: 2.957000ms
Cuda error in file 'MarsSort.cu' in line 1047 : unspecified launch failure.


teslaでは何かErrorが出ているようだが、水曜以降に確認します。

2011年2月7日月曜日

2/7 今後の予定

現在のテーマは高速化できるか怪しいので、ある程度のものでまとめて終わらせる。

3月までにやること
・XSLTの実装
・文字列比較・文字列コピーの32スレッド化
・Xerces、Xalanの速度計測(C++版)

3月中旬までによること
・上記の内容をまとめた文章の作成

文章は実装・評価と並列して書き上げる。
グラフ関連のGPUのアイデアや論文読みも行う。

2010年12月21日火曜日

12/21 Parallel Nsight

GPUへの移植はすぐにできた(3時間程度)が、
どうも正しく動いていないようでデバッグに苦戦している。
GPUプログラムのデバッグにはnvccに-gと-Gの二つのオプションを
送ることが必要なのはわかったが、さすがにcuda-gcdには限界がある。

グラフィカルデバッグ環境を構築するため、昨日Windows7のマシンをセットアップした。
Visual StudioとNvidiaのプログラムをインストールしたがうまくいかない。

U君のクライアント環境ではうまくできたようなので、作業をお願いしたところ、
Visual Studio 2008のStandardが必要で、Expressではインストールできないらしい。

思わぬところで作業がストップしてしまった。

2010年12月10日金曜日

12/10 parser 4

とりあえず一番単純なパターンが動いた。
オートマトンを実装したら、実はスタックが必要ないことが判明してショックだ。

現在は開始タグとアトリビュート、テキストデータのみを処理器に送信している。
しかしながら、それぞれを別の関数に渡しているため問題があるかもしれない。
このあたりはXpathやXQueryなどのアプリケーション依存になりそうなので、
それを見てから考えたほうがよさそうだ。

現在の実装をPowerPointで整理したら、CPU版の最適化かGPU化を行う予定。
どちらを行えばよいか迷う。

2010年12月9日木曜日

12/9 parser 3

スタックの続き。
昨日のエラーはただのスタック更新時のポインタの差し替え違いだった。
とりあえずスタックを確認しながら遷移する部分は成功。

しかし現状では見栄えが非常に悪いのでスタック関連を関数に切り分ける。
クラスにしてもいいのだが、CUDAへの移植時に面倒になりそうなのでパス。

必要な部分は全て変更を終えたのだが、動かない。
また明日頑張ろう。
オートマトンの実装が遠のいてしまった。

CUDAではSTLのスタックが使えないのがつらい。

2010年12月8日水曜日

12/8 parser 2

気がついたら23時になっていて驚いた。

Parserにスタックを使ってタグ名を監視する部分を追加したら、
Segmentation Faultを連発になり非常に困った。
スタックの実装がよろしくない模様。

GDBを使ってトレースしていたのだがさすがに面倒になってきた。
明日はVisual Studioを使ってもう一度見直してみるつもりだ。
もう一歩のところまでは動いているようなので、集中してやれば何とかなりそうだ。

タグを識別して処理を投げるところまではできているので、
オートマトンの作成や更新にも手が付けられそう。


GPU化を意識し原始的な作りにしてあるので、可読性が非常に低いのが難点だ。
インデックスを用いて文字列の比較を行っているため、
if,for,whileの巨大なお化け状態になっている。
手続き型プログラムの限界を感じる。

2010年12月7日火曜日

12/7 Parser

中間も終わり、課題も1月提出のものが大体なのでようやく余裕が出てきた。
今日はParserの実装を多少進めた。

タグ数種類とそれ以外を区別して吐き出す状態まではできたが、
現在の実装で方向性が正しいかどうか疑問が出てきた。
タグの種類の解釈までを分割器に行わせるか、
その後段のオートマトン側で行うべきかが悩ましい。

2010年12月3日金曜日

12/3

ブレードサーバへのOSインストールを完了。
PXEからだとディスクをうまく認識せずKernelパニックになったが、
CDから起動したらすんなりOKだった。
PXE用のイメージを新しくすべきかもしれない。

ブレードのラックへの組み付け作業中に右手親指を負傷した。
楽器が弾けるかが心配だったが、一応大丈夫だった。
しかしちょっと音が腑抜けになった気がする。ショック。

中間テストの追試が延期になった。
猶予ができたのは嬉しいが、少ししんどい。

C++のファイルストリームでファイルを読み込むと、
空白が区切り文字になってしまい嬉しくないが、
I君とU君に聞いても解決策がわからなかった。
おとなしくファイル構造体で読み込むことにする。

2010年11月18日木曜日

11/18 発表スライド

今日は学会用のスライドを修正した。
XMLの実装を考えたりスライドにまとめたりもあるが、
先に学会の準備をしておかないと不安になってしまい集中できない。
スライドはそこそこできてきたが、動的負荷分散などをどの程度話すべきかがわからない。
発表時間は全体で20分で、発表15分質疑応答5分が望ましいそうだ。

導入(貢献、DSMSの説明)2分
背景(統合実行の必要性、実例)3分
レイテンシと動的負荷分散2分
実装全体の概要1分
System Sの実装1分
Hadoopの実装1-2分
評価と考察3分
まとめ1分
<合計15分>
このくらいを想定すればいいのでしょうか。

あとはI君と二人でG君の実装を助けた。TCP関係ははまりやすいらしい。
3人でXP的にデバッグ方法を色々試みてみたが、なかなかうまくいったと思う。
動かない原因はhostfileの設定ミスとSourceの入力フォーマットの欠落だった。
Sourceオペレータはcsvformatなどを設定するか区切り文字を指定してやらないと、
入力データを延々とバッファリングしてしまうらしい。
最近区切り文字に纏わるバグが多い気がするが、季節柄なんだろうか。

streamtoolやmonitorの方法なども伝えたので、次からは是非使いこなしてほしい。

2010年11月11日木曜日

11/11

今日はポッキー・プリッツの日らしい。
N君がプリッツを買ってきてくれた。
相変わらず面白い人だ。

Fermiのmalloc()関連のマイクロベンチが一通り完遂した。
次はsharedメモリでの実装なので楽しみ。
課題も残すは2つくらいなのだが、中間テストがあるので気が重い。
月末用の発表練習もそろそろ始めたいが状況は芳しくない。

2010年10月8日金曜日

10/7

今週末は旅に出ます。
安心して旅立てるよう、ComSysの修正を早く終わらせなければ。
あとはアルゴリズムの項目をくっつけるだけなので、
明日頑張ればぼちぼち終わるはず・・・。

明日は返納品の作業もあるのであわただしくなるかもしれない。

2010年9月27日月曜日

9/27 議事録

次の全体ミーティング
・ComSysまでの内容のまとめ
・先生のXMLのスライドを用いて概要の説明
・GPUでの簡易的な実装と評価

ComSysまでのまとめは短めでよい。
概要もだいたい伝わっているので省略する。

XMLについてはこれからの研究なのでしっかり説明する。

GPUの実装は評価次第で変更あり。
色々なパターンを想定した実行結果が必要。

CPU実装の場合も、オートマトンが巨大化するような場合は
統計情報を用いて排除するらしいので、それを言い訳に使う。

2010年9月17日金曜日

9/17 論文誌

目指すべき論文誌

電子情報通信学会
情報処理学会
ACS

additional:日本データベース学会

2010年9月13日月曜日

9/13 PPL2010

昨日は津田塾学園という陸の孤島にチュートリアルを聞きに行った。
Sun(Oracle)のFortress、GoogleのGO、IBMのX10の三つの説明が行われた。
どれも3時間近くにわたる長い講演だったのでなかなか体力を消費した。

Fortressの講演は英語で、言語仕様の話は少なかったのであまりよくわからなかった。

GOは並列部分に関しては共有メモリ方式からメッセージ方式にしたところが新しいようだ。
細かい言語の仕様については従来のコンパイル言語の可読性の悪さや、
型やインターフェイスの使いにくさをスクリプト言語の仕組みで補ったようなものらしい。

X10はJavaをベースにし、ヘテロな並列分散環境に対応し、
書き易さと性能の出しやすさのバランスを求めて作成されている。
Placeという概念を持ち込むことで、データのスコープなどが適切に管理できるようだ。
Placeを適切に区切ることにより、キャッシュやメモリの範囲を意識しつつ並列処理を容易に記述できる。
Javaの同期の面倒さも記述や実行方法を改めることで解決しているらしい。

上記の内容は大いに誤りを含んでいそうなので参考にしないでください。

2010年8月9日月曜日

8/9 今月のタスク

インターンから帰ってきました。

今月のジョブは、ComSys2010に提出した論文の英語化だ。
締め切りは9月16日です。

DASFAA 2011 Hong Kong
http://www.cintec.cuhk.edu.hk/DASFAA2011/

2010年7月21日水曜日

7/21 締め切り二日前

締め切り二日前にも関わらず悠長に実験しているのだが、
Hadoopと統合実行するとレイテンシが発散してしまう。
どうやら、Hadoopのジョブの粒度が大きすぎるせいのようだ。

Hadoopで処理するファイルは現在合計178MBのテキストファイルなのだが、
現在は1時間ごとのデータなのでたった24個のファイルしか存在せず、
一つのジョブの粒度が数メガ単位になってしまっている。
これでは思うようにジョブの切り替えが行えないので、
ファイルをsplitコマンドで1万行ごとに区切ることに。

1000行で分割すると、ファイルが多すぎてHadoopの処理が極端に遅くなるため、
今は10000行ずつ分割するパターンで試している。
1000行ずつ分割すると2000個以上のファイルができるが、10000行ずつだと225個のファイルとなる。


この実験に差し掛かる前に、Hadoopへのコマンドがうまく渡せないというエラーがあったが、
SPADEのコードをコメントアウトしていたのを忘れていただけだった。まぬけだ。

2010年7月18日日曜日

7/18 タプル数+レイテンシによる負荷分散


レイテンシの変動も監視する機構を追加することで、
ヘッドノードのみが発散してしまうという現象を食い止めることができた。
そろそろHadoopと同時に実行してみる予定。

2010年7月17日土曜日

7/16 SDAR組み込み


G君のSDARアルゴリズムによる未来予知を組み込んだ動的負荷分散プログラムの実行結果です。
色々改善されていますが、まだヘッドノードの応答性が改善されていません。
これは統合実行環境そのものの負荷なのでどうにかしないといけないでしょう。

2010年7月16日金曜日

7/16 CPU使用率の測定


gxpcとperl、シェルスクリプトを組み合わせることでCPU使用率もうまく測定することができた。
topコマンド単体では0.01秒までの測定を行うことができるため、
topコマンドのバッチモードの結果をうまくパースすることでミリ秒単位の測定が行える。
topコマンドの応答時間は本当に正しいか怪しく、マイクロ秒単位での実時間との関係もわからないため、
コマンドの実行前後でUNIX時間からのマイクロ秒数を設定し、topの測定回数を決めることで、
だいたいの測定時刻を設定することができる。現在は等間隔に実行されていると仮定して出力している。

まずはSDARなしの場合の実行結果を掲載する。
次はSDARを組み合わせた結果をすぐに載せる予定。

topの測定間隔と入力レートの測定間隔は0.05秒、マッチ個数は2000で実行している。