title
2016年
1月
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31
AV | Car | Game | Internet | IT | Linux | Movie | other | PC | RC | Reading | SmartPhone | Web


2016-01-19 膨大

_ [IT]アメリカの Yahoo が、機械学習用データを公開.

非商用だけども、そのボリュームがスゴイ. 13.5TB.

解析以前に読み込みに時間がかかる!!(笑)

普通の PC に搭載されている HDD で、シーケンシャル R/W でも 100MB/sec ~ 150MB/sec だろう.

データをネットワーク越しで送受信する場合、Gigabit eth でローカル環境でも、7~800Mbps が実効速度なのだが・・・・・

単純計算で 13.5TB ÷ 700Mbps = 2500 sec強.

でもそんな速度をネット越しで出し続けられるわけもなく.

この 1/10 の速度が出続けられても 7時間.

実際はさらに半分程度がピーク値であれば 14時間か.

・・・・・転送したのを保存する先が無かった!!(ぉ



Links
  • Smoug Mail
    無料/有料 の、メールアドレス発行サービス。
    スパムフィルタ、アンチウィルス標準搭載!
«前の日記(2016-01-18) 最新 次の日記(2016-01-20)»