butterfly search 2.7g リリース

butterfly search 2.7g をリリースしました。

メモリ不足が発生しにくいように、インデックス作成時のデフォルト並列度を３⇒１に下げました。
インデックス作成時間が長くなる代わりに、メモリ不足になることが減ると思います。

私自身も最近メモリ不足でエラーになることが増えていましたので、気になっていたところにユーザー様からコメントを頂き、
今回のリリースとなりました。

根本的には64ビットアプリとしてコンパイルすれば防げる問題なのですが、
32ビットOSでbutterfly searchが使用できなくなっても良いのか？という問題と、
作者側に64ビットOS環境が無いという問題があり、進んでいません。

リリース先
http://hp.vector.co.jp/authors/VA031523/

コメント

コメントを投稿

このブログの人気の投稿

よく使われる四文字熟語ランキング

四文字熟語　使用頻度　ランキング Wikipediaで一番頻繁に使用される四文字熟語を調査する。 日本語とbutterfly searchを組み合わせて、何か面白いことができないかな。。。が発端のこの企画。 １．調査対象 （１）Wikipediaの全ページの記事本文 jawiki-20161020-pages-articles-multistream.xml　9.7GB ダウンロード先 https://dumps.wikimedia.org/jawiki/20161020/jawiki-20161020-pages-articles-multistream.xml.bz2 （２）四字熟語 729種類　下記から入手 http://www.h3.dion.ne.jp/~urutora/4ji1.htm ※butterfly_searchにはデフォルトでサンプルとして組み込み済み ２．調査方法 butterfly_searchの一括検索機能を使用して、検索対象から検索キーの出現回数を調査する。 ※butterfly_searchは下記からダウンロード可能。 　http://www.vector.co.jp/soft/winnt/util/se437071.html ３．結果 順位 出現回数 四文字熟語 読み 意味 1位 3387  年中行事 ねんちゅ
続きを読む

butterfly search 4.1 をリリースしました。

butterfly search 4.1 をリリースしました。  リリース先:   https://www.vector.co.jp/soft/winnt/util/se437071.html （vectorさんでの審査後に公開されます。執筆時点では旧バージョンが公開されています） 変更点は処理速度と安定化になります。クラッシュする事が減っていると思います。 ■技術的な話 ・ファイル名の検索 高速化に関してはファイル名のみを検索した際に、CPUを12ケ割り当てるようにしました。 これにより12倍速になっているはずです。 それでも、Everythingの検索のほうが速いです。ファイル名はインデックス化していないので勝てないです。 ・ファイルアクセス CFileを使用してアクセスしていますが、CFileが遅いことに今更気が付きました。 CFileの呼び出しを減らすことでwriteの速度は2倍くらい向上しています。 ちなみにCStringは極悪なほど遅いので、速度を求める処理にCStringを使用してはいけません。
続きを読む
  butterfly search 2.8c をリリースしました。 リリース先:   https://www.vector.co.jp/soft/winnt/util/se437071.html （vectorさんでの審査後に公開されます。執筆時点では2.8bが公開されています） 大きな修正は ・大きいサイズの圧縮ファイルも処理できるように修正。 ・圧縮ファイルの処理がエラーになる不具合の修正。 ・インデックス生成時の進捗メッセージを修正。 ・放送コード.xlsの梱包を中止。 です。 内部の修正として「ファイルをこまめにCLOSEするようにした」もあります。 環境によっては同時ファイルオープン可能数が10000程度の場合があり、高速化の為に大きなファイルはCLOSEしないという作りがエラーを招いています。 修正点が多いのでデグレートしていたら教えてください。
続きを読む