butterfly search 2.8d をリリースしました。

リリース先:   https://www.vector.co.jp/soft/winnt/util/se437071.html
（vectorさんでの審査後に公開されます。執筆時点では2.8cが公開されています）

大きな修正は動作の安定化になります。
２TBくらいのデータをインデックス化しようとすると、今まではメモリ系のエラーになっていたのですが、2.8dでは幾分改善されていると思います。こまめにメモリを開放することで対策しています。（仮想アドレスの不足という現象に気が付かず、対策に時間が掛かりました。それと、mallocを21億回コールするとバグるというマイクロソフトのライブラリのバグにもやられました（笑））

２TBのデータをインデックス化しようとすると、100時間くらいかかかりますので、デバッグが進まず苦労しました。性能の良いＰＣが欲しいところです。

今回も修正点が多いのでデグレートしていたら教えてください。


コメント

コメントを投稿

このブログの人気の投稿

よく使われる四文字熟語ランキング

四文字熟語　使用頻度　ランキング Wikipediaで一番頻繁に使用される四文字熟語を調査する。 日本語とbutterfly searchを組み合わせて、何か面白いことができないかな。。。が発端のこの企画。 １．調査対象 （１）Wikipediaの全ページの記事本文 jawiki-20161020-pages-articles-multistream.xml　9.7GB ダウンロード先 https://dumps.wikimedia.org/jawiki/20161020/jawiki-20161020-pages-articles-multistream.xml.bz2 （２）四字熟語 729種類　下記から入手 http://www.h3.dion.ne.jp/~urutora/4ji1.htm ※butterfly_searchにはデフォルトでサンプルとして組み込み済み ２．調査方法 butterfly_searchの一括検索機能を使用して、検索対象から検索キーの出現回数を調査する。 ※butterfly_searchは下記からダウンロード可能。 　http://www.vector.co.jp/soft/winnt/util/se437071.html ３．結果 順位 出現回数 四文字熟語 読み 意味 1位 3387  年中行事 ねんちゅ
続きを読む

butterfly search 4.1 をリリースしました。

butterfly search 4.1 をリリースしました。  リリース先:   https://www.vector.co.jp/soft/winnt/util/se437071.html （vectorさんでの審査後に公開されます。執筆時点では旧バージョンが公開されています） 変更点は処理速度と安定化になります。クラッシュする事が減っていると思います。 ■技術的な話 ・ファイル名の検索 高速化に関してはファイル名のみを検索した際に、CPUを12ケ割り当てるようにしました。 これにより12倍速になっているはずです。 それでも、Everythingの検索のほうが速いです。ファイル名はインデックス化していないので勝てないです。 ・ファイルアクセス CFileを使用してアクセスしていますが、CFileが遅いことに今更気が付きました。 CFileの呼び出しを減らすことでwriteの速度は2倍くらい向上しています。 ちなみにCStringは極悪なほど遅いので、速度を求める処理にCStringを使用してはいけません。
続きを読む
  butterfly search 2.8c をリリースしました。 リリース先:   https://www.vector.co.jp/soft/winnt/util/se437071.html （vectorさんでの審査後に公開されます。執筆時点では2.8bが公開されています） 大きな修正は ・大きいサイズの圧縮ファイルも処理できるように修正。 ・圧縮ファイルの処理がエラーになる不具合の修正。 ・インデックス生成時の進捗メッセージを修正。 ・放送コード.xlsの梱包を中止。 です。 内部の修正として「ファイルをこまめにCLOSEするようにした」もあります。 環境によっては同時ファイルオープン可能数が10000程度の場合があり、高速化の為に大きなファイルはCLOSEしないという作りがエラーを招いています。 修正点が多いのでデグレートしていたら教えてください。
続きを読む