本日の課題:シェルスクリプトの作成
本日の実習の内容+αを用いて，多数のファイルを一気に処理するためのシェルスクリプトを作成しましょう．本課題ではある場所での気象データが書かれているファイルを用いることにします．なおシェルスクリプトは, 全て自分のホームディレクトリで動かすことを前提にして作成してください. 尚, 両者の課題共に複数のシェルスクリプトを組み合わせて処理してもかまいません. その場合は使用したすべてのスクリプトを提出し, どの順番で実行したのか分かる様にMoodleに明記してください.
単位取得には以下の課題1,2全ての提出が必要です.皆さんがんばってください.
課題背景
惑星宇宙グループのS君は, 自分の研究のために南極の気象データを調べることにしました. そこでS君はまず, 2021/01/01 から 2021/12/31 までの1年分の気象データを取得し, その特徴をまとめてみることにしました. しかし1年分のデータは膨大であり整理が大変です. シェルスクリプトを使って整理を手伝ってあげましょう.
データの説明
tarアーカイブ内のファイルはYYYY-MM-DD.csvという名前になっており, それぞれの日付において現地時間午前3時（00:00 UTC）に実施された地上観測の結果です. 以下の値が","で区切られ, 水平方向に順番に書かれています.
'現地気圧(hPa)','降水量(mm)','気温(℃)','蒸気圧(hPa)','湿度(%)','風速(m/s)',風向(16方位)','日照時間(h)','全天日射量(MJ/m**2/h)','降雪(cm)','積雪(cm)','雲量','視程(km)'
|
ただし, 場合によっては空欄になっていたり, '--'となっていることもあるので注意してください. 尚, 本課題で用いるデータは2021/01/01から2021/12/31まで実際に昭和基地で観測された気象データです. データは気象庁によってWeb公開されており, 誰でもアクセスして利用できます. 今回は以下のURLにて公開されているものを使用しています（https://www.data.jma.go.jp/obd/stats/etrn/index.php）.
課題1
S君はまず, 観測時の風向に注目してデータを整理することにしました. 以下の処理を行うスクリプトを作成してください.
- 自分のホームディレクトリ直下に, 作業ディレクトリ "work" を作成し，データファイルが格納されているアーカイブファイルを "work" 内でダウンロード・解凍する．アーカイブファイルの URL は以下である:
ダウンロードするには以下をスクリプト内で実行するようにすればよい．
wget http://www.ep.sci.hokudai.ac.jp/~inex/y2023/0428/Syowa_Weather_2021.tar.gz - 解凍したディレクトリ内に, 風向ごとにN,NNE,NE,...,NNW の16のサブディレクトリを作成し, それぞれのデータファイルを, 対応する風向のサブディレクトリにコピーせよ.
- 各風向ごとにいくつのファイルがあるか調べ, その結果を ~/work/wind_direction.csvに出力せよ.
- wind_direction.csvの書式は以下のとおりとする. 一行目にカンマ区切りした風向, 二行目に各風向ごとのファイル数をカンマ区切りで記すこと.
N,NNE,NE,ENE,E,ESE,SE,SSE,S,SSW,SW,WSW,W,WNW,NW,NNW 風向Nのファイル数, 風向NNEのファイル数, 風向NEのファイル数, 風向ENEのファイル数,（中略）, 風向NNWのファイル数
- gnuplotスクリプト(spiderplot.gpl)を使用し, レーダーチャートを作成せよ. spiderplot.gplは以下コマンドでダウンロードできる. この spiderplot.gpl はグラフ描画ソフトウェア gnuplot（詳細は付録を参照のこと）の描画動作を記述したファイルである.
また, 実行する際には以下のコマンドを打てばよい. ただし, wind_direction.csvとspideplot.gplは同じディレクトリに配置する必要がある.$ wget http://www.ep.sci.hokudai.ac.jp/~inex/y2023/0428/spiderplot.gpl $ gnuplot spiderplot.gpl - 作成した レーダーチャート (Syowa_wind_direction.pdf) を firefox を用いることで画面に表示せよ．そのためには，スクリプト内で以下のコマンドを記述する．
$ firefox Syowa_wind_direction.pdf
課題2
S君は次に, 自分の実施した観測結果と気象データを比較することにしました. 手元には観測を実施した日付のリストがあります. このリストに載っている日付のファイルだけを抜き出し, 課題1と同じように, N_2,...NNW_2 の 16 のサブディレクトリを作成し, 風向ごとにそれぞれのディレクトリに分別してください. また, それぞれのファイル数を wind_direction_obs.csv にまとめ, レーダーチャートを作成するシェルスクリプトを作成してください.
- 各自のホームディレクトリの下に新しく~/work2/ ディレクトリを作成せよ.
- ~/work2/ ディレクトリ内に観測を実施した日のデータをコピーせよ.
- 観測日時を記したファイルは以下のコマンドでダウンロードできる. http://www.ep.sci.hokudai.ac.jp/~inex/y2023/0428/Observationlist.csv
- ~/work2/ ディレクトリ内に N, ... NNW までの16 のサブディレクトリを作成し, ~/work2/ 内のファイルを風向ごとに対応するディレクトリに移動させよ.
- 各サブディレクトリ内のファイル数を調べ, wind_direction_obs.csv に出力せよ. ファイルの書式は課題1と同様とする.
- gnuplotスクリプトspiderplot2.gplを利用し, レーダーチャートを作成せよ. spiderplot2.gpl は以下のコマンドでダウンロードできる.
| $ wget http://www.ep.sci.hokudai.ac.jp/~inex/y2023/0428/Observationlist.csv |
|
2021-02-11 2021-02-22 2021-02-26 2021-02-27 2021-02-28 2021-03-02 2021-03-03 2021-03-07 ...(略) |
| $ wget http://www.ep.sci.hokudai.ac.jp/~inex/y2023/0428/spiderplot2.gpl |
提出内容
以下のものを提出せよ．〆切: 2023年5月10日(水) 12:00
- Moodleに提出するもの
- シェルスクリプト本文
- 作成したシェルスクリプトの全文
- 課題1と課題2における風向
- フォーラム名 "課題1, 課題2"
- 課題に関するコメント
- シェルスクリプト作成に当たって，工夫，または苦労した点．
- 作業協力者がいればその名前, 参考文献（ほかの人のレポートを参考にした場合もしっかり挙げること）．
- もし他に言いたいことがあれば記述しても良い.
- フォーラム名 "課題に関するコメント"
- 情報実験機上で提出するもの
- 各自のホームディレクトリに作成したスクリプトを残しておくこと.
- スクリプトを実行して作成されるworkディレクトリおよびwork2ディレクトリ, 各csvファイル, pdfを残しておくこと.
- 情報実験機で作業する場合には本日の事前準備を参考に X window system を立ち上げましょう.
- わからないことがあったらまずは文献(過去のレポート含む)あるいはインターネット上の検索エンジンを利用しましょう.
- やっぱりわからないときは友達と相談しましょう.
- どうしてもわからないときは情報実験メーリングリスト inex-2023 を活用しましょう. 同じような疑問を持っている人の助けになるかもしれません.
- やり方は一通りではありません. どうすれば一番楽か作業の順序立てを最初に考えましょう.
- コマンドの使い方が分からなくなったら man で調べましょう!
- 沢山のファイルに同じ処理を施すには, メタキャラクタや ループ処理が便利.
- パイプを活用して 複数のコマンドを組み合わせてみましょう.
- 一つのコマンドでも コマンドラインオプション によって様々な機能を発揮します. man やインターネットで いろいろ調べてみるべし.
- cat, grep, sed, awk等のよく使われる便利なコマンドを調べてみよう!
- ヒントに囚われず, 自由な発想をしよう!!
注意点
困ったときは
ヒント
<< 戻る (データ圧縮・解凍とアーカイブ) 次へ >> (付録: gnuplotについて) 情報実験 第 3 回 のトップへ >>