butterfly_search

butterfly searchのソースをコミットしようとしたらTortoiseSVNが 「リビジョン1000はありません」って言ってくるじゃないですか。 もうこのカメちゃんったら、寂しがりやさんなのね。。。 惨事が起きていると理解し、SVNのリポジトリが壊れたことが分かったのだけれども、SVNのリポジトリはGoogleドライブに置いているだよね。Googleドライブが壊れる訳ないよね。 症状としては、リビジョン1000のコミットではエラーが出ないけど、その次の1001のコミットで1000に関してのエラーがでる。 処置としては、、、  リビジョンを999に戻して、SVNのリポジトリをGoogleドライブ（Gの仮想ドライブ）に置かない。でとりあえず復旧しました。仮想ドライブ上では操作しても復旧できませんでした。 SVNはリビジョン1000毎にフォルダを作るのだけれど、それがGoogleドライブ上ではうまく行かないって事なんだろうな。butterfly searchで検索Gドライブを検索させるとエクセプションが発生するのでGoogleドライブが提供している何かのAPIに問題があると思われる。 障害発生時のバージョン情報 TortoiseSVN TortoiseSVN 1.14.5, Build 29465 - 64 Bit , 2022/09/24 08:31:31 ipv6 enabled Subversion 1.14.2, -release Google ドライブ バージョン: 73.0.4.0

 butterfly search 3.0b をリリースしました。 リリース先:   https://www.vector.co.jp/soft/winnt/util/se437071.html （vectorさんでの審査後に公開されます。執筆時点では旧バージョンが公開されています） 大きな変更点としては、インデックスに登録する条件を増やしました。 今までインデックスのキーとして登録していなかった単語同士の組み合わせも 登録するようにしました。これにより今まで苦手だった、よく登場するけどその組み合わせはあまりないという条件、 例えば「0+0」の検索がまともな速度で動作する様になりました。英語の文章検索も速くなっています。 これによる副作用としては、キーの数が1.5倍くらい増え、インデックスの作成時間も1.5倍くらい長くなりました。 ■「0+0」の場合 ・3.0aまで 　→ 「0」,「+」の２つをインデックスに登録。 ・3.0bから 　→ 「0」,「+」の２つをインデックスに登録しさらに、       「0+」,「0+0」,「+0」の3つをハッシュ化後にインデックスに登録。 ■「This is a Pen.」の場合 ・3.0aまで 　→ 「THIS」,「IS」,「A」,「PEN」,「．」の5つをインデックスに登録。 ・3.0bから 　→ 「THIS」,「IS」,「A」,「PEN」,「．」,「 」の5つをインデックスに登録しさらに、      「THIS 」,「 IS」、「IS 」,「 A」「A 」,「 PEN」「PEN．」,      「THIS IS」「 IS 」,「IS A」,「 A 」,「A PEN」,「 PEN．」の14つをハッシュ化後にインデックスに登録。  ■「今日はいい天気ですね。」の場合 ・3.0aと3.0bで違い無し 　→ 「。」、「い」、「いい」、「いい天」、「い天」、「い天気」、「す」、「すね」、 　　 「すね。」、「で」、「です」、「ですね」、「ね」、「ね。」、「は」、「はい」、 　　 「はいい」、「今」、「今日」、「今日は」、「天」、「天気」、「天気で」、「日」、 　 　「日は」、「日はい」、「気」、「気で」、「気で...

■はじめに 先日、AI（人工知能）の本を読んでいたら、将棋ソフトは三駒関係という評価手法よって劇的に強くなったとの事。３つの並びが価値を生むという事だ。 そういえばこの前、４文字熟語のランキング作ったけど特に反応無かったな。。。 とりあえず今回は、butterfly searchを使用してある特徴を持つ３つの数字の並びを抽出し、その1つ目の頻度を表にしました。（ノイズ多々ありです） ■おっぱい集計結果 抜粋 全体 まず、タイトルにある良いおっぱいとは何ですかという事ですが、これは、WIKIにあるおっぱい事。WIKIにある記事は良い記事なので、そこに存在するものは良いもの。そこで観測したおっぱいは良いおっぱい。 ■最大 観測された最大値は、ミリア・ファリーナさんの415cm ■考察 まず、今回最大の気付きは良いおっぱいは偶数という点。 単純に合計しても、 偶数サイズのおっぱい：11063 回 奇数サイズのおっぱい：8140 回 これを「おっぱい偶数の法則」と名付ける。 但し、一番頻度が高いのは奇数の83cm、1852回。 ■おっぱい偶数の法則 奇数サイズのおっぱいは偶数サイズに引き寄せられるとしか考えられない。 それとも１つ１つが奇数で２つ合わさるので偶数ということなのか。 なぜか？下記のようなことが起きているのかと思われる。 正規分布からのずれ 大きさ 考察 ↑人気 80 １つの大台。無理をしてでも到達したい感は認める。 ↓不人気 81 下一桁の１ってなに？ 中途半端がいけない。 普通 82 問題なし。 ↑超人気 83 素数。神聖な感じ。おっぱい偶数理論がここで一旦破綻。 ↓不人気 84 ４っていう数字のイメージが悪い。 ↑人気 85 五十日（ごとおび）は道路も混むし、四捨五入すれば90に届く。 ↑人気 86 helloという語呂がよい。 ↓不人気 87 それなら88に統合。85を境に大雑把感が増すので素数のミステリアス感がない。 ↑人気 88 ぞろ目。これは末広がりで縁起も良い。 ↓不人気 89 一歩手前。79と80では大きく違うが89と90は同じで良い。90へ統合。 ↑人気 90 大きすぎて雑。乱雑なおっぱいがここに集まる。 ※諸説無し。（この研究は今ここで始まったばかり） ■確認（再現）方法 ①wikiのテキストをダウンロードし解凍 https://dumps...

butterfly search 3.0 をリリースしました。 リリース先:   https://www.vector.co.jp/soft/winnt/util/se437071.html （vectorさんでの審査後に公開されます。執筆時点では旧バージョンが公開されています） 大きな機能追加として、日時情報の抽出が挙げられます。 ドキュメントを跨いで時系列に情報を表示する事が出来ます。 butterfly searchは、「抽出」、「ソート」、「表示」という構造を持っており、「抽出」を変える事で もっといろいろな可能性がある事に気が付きました。 Ver3.0にしたのは、その可能性に気が付いた為です。 まだまだ雑な動きをしますが、少しずつ直していきます。 ーーーーーーーーーーーーーーー 質問を頂きましたので画面サイズの変更方法をアップ（動画）します。 ーーーーーーーーーーーーーーー

四文字熟語　使用頻度　ランキング  Wikipediaで一番頻繁に使用される四文字熟語を調査する。 日本語とbutterfly searchを組み合わせて、何か面白いことができないかな。。。が発端のこの企画。2017年に続いて今回は2回目。 １．調査対象  （１）Wikipediaの全ページの記事本文 ダウンロード先  https://dumps.wikimedia.org/jawiki/20210701/jawiki-20210701-pages-articles-multistream.xml.bz2  jawiki-20210701-pages-articles-multistream.xml　13.3GB （２）四字熟語 729種類　 下記から入手  http://www.h3.dion.ne.jp/~urutora/4ji1.htm ※現在リンク切れ ※butterfly_searchにはデフォルトでサンプルとして組み込み済み ２．調査方法  butterfly_searchの一括検索機能を使用して、検索対象から検索キーの出現回数を調査する。 ※butterfly_searchは下記からダウンロード可能。 https://www.vector.co.jp/soft/winnt/util/se437071.html ３．結果 (1)登場回数ランキング (2)不人気ランキング 衰退にある言葉をピックアップ。回数ではなく、前回比でランキング ※ 山とか川とか（山川草木）、太鼓 とか （鼓舞激励）、馴染の薄い言葉は衰退していくよね。 「意匠惨憺」ってなぜこんなに減っているの？言語学者による実験？ 5．詳細 （１）環境 OS:Windows10 メモリ:32Gバイト CPU:AMD Ryzen 5 3600 （２） インデックス結果 処理時間 : 9時間  インデックスのサイズ    15Gバイト 検知したキーの数        約6741万 （３） 集計の様子 エクセルのリストを読み込んで順次検索してくれます。 （4）一括検索結果 順位 出現回数 四文字熟語 読...