Visual Studio 2022 C++ IMultiLanguage2のマルチスレッド化メモ

はじめに

BF（butterfly search）で必要な機能の一つに文字コード判定機能があります。

BFでは、IMultiLanguage2::DetectInputCodepageを使用しています。

リリース当時、判別方法はこれしかなかった記憶があります。文字コードの誤判定もかなりありますが仕方なくこれを採用。

近年のBF修正方針としては、CPUとメモリはあるだけ使用していく。18年前とは環境が違います。


マルチスレッド非対応

IMultiLanguage2はマルチスレッドに対応していないという問題があります。

BF動作中に確認してみると32中30スレッドがDetectInputCodepageで待ち合わせしていました。

これは許容できません。


代わりのマルチスレッドに対応したAPIを紹介して欲しいとチャッピーにお願いすると、

uchardet（https://github.com/BYVoid/uchardet）を紹介されました。

uchardetはもともとMozillaによって開発されたエンコード検出ライブラリで、「EmEditor」が従来備えていた処理よりも精度が改善されているということでよい事尽くしだと。


チャッピーまとめ

まとめるとチャッピーの回答は以下です。

・IMultiLanguage2::DetectInputCodepage　→　uchardet::uchardet_get_charset　を使え。

・IMultiLanguage2::ConvertStringToUnicodeEx　→　MultiByteToWideChart　を使え。

・読み込ませる範囲は先頭部分だけでよい。　


最終的な修正

最終的な修正は下記になりました。

・IMultiLanguage2::DetectInputCodepage　→　初めにuchardet::uchardet_get_charsetを使用し失敗した場合は、IMultiLanguage2::DetectInputCodepageを使う。

・IMultiLanguage2::ConvertStringToUnicodeEx　→初めにMultiByteToWideChartを使いし失敗した場合は、IMultiLanguage2::ConvertStringToUnicodeExを使う。

・読み込ませる範囲は先頭部分だけではダメ。先頭128KBでは誤判定が増える。今は先頭3MBだが結局3MBのままに。


苦労した点

・誤判定多し

uchardet::uchardet_get_charsetの判定結果は海外寄り。漢字になるように文字コードを判定して欲しいのだけど。。。

　→uchardetへの貢献が足りないので、変換も漢字の優先度が低いのか。なんとも悲しい。日本の弱さがこんなところにも。

　→UTF8と判定されることが多いような。。。時代の流れなのか、UTF8を使用しない方が悪いという考えなのか。

　　pythonもnotepadの初期値もUTF8だしな。しょうがないのか。時代に取り残されているのか。


・uchardetのビルドが通らない

https://github.com/BYVoid/uchardetはgetopt.cがないとか言ってビルドが通らない。しょうがないので

https://github.com/takamin/win-c/tree/masterからgetopt.cを持ってきた。


・チャッピーが雑

チャッピーにコードを書いてもらうと、本当に人間が書いたような雑なコードになる。utf16がエラーになった。結局はほぼすべてを自分で調べて修正することに。


・チャッピーの余計なアドバイス

判定の為、読み込ませる範囲は先頭部分だけよく、他のブログを見ても先頭1000行でよいみたいな事が書かれていたので信じたら、非常に面倒な事に。これの検証すごく時間がかかった。本当に余計なアドバイスだった。

・チャッピーには苦手な処理がある
uchardet::DetectCharsetByUchardetの戻り値をCodePage（コード ページ識別子）に変換する処理をチャッピーに書かせたが、本当にダメ。utf16とutf7が認識出来ないってどういう事？

・MultiByteToWideChartの繊細さ

MultiByteToWideChartはすぐに変換を諦める。MB_ERR_INVALID_CHARSを外してもダメ。非常に繊細でIMultiLanguage2::ConvertStringToUnicodeExのようなタフさがない。誤った動作に関して厳しいのかもしれない。


知見

チャッピーの回答は面倒くさがり屋の人間のような回答。

チャッピーに感謝しつつ疑う必要あり。


ちなみにこの文章はAI（チャッピー＝chatGPT）に修正させていません。修正させたらAIぽくなってしまったので。

コメント

コメントを投稿

このブログの人気の投稿

よく使われる四文字熟語ランキング

四文字熟語　使用頻度　ランキング Wikipediaで一番頻繁に使用される四文字熟語を調査する。 日本語とbutterfly searchを組み合わせて、何か面白いことができないかな。。。が発端のこの企画。 １．調査対象 （１）Wikipediaの全ページの記事本文 jawiki-20161020-pages-articles-multistream.xml　9.7GB ダウンロード先 https://dumps.wikimedia.org/jawiki/20161020/jawiki-20161020-pages-articles-multistream.xml.bz2 （２）四字熟語 729種類　下記から入手 http://www.h3.dion.ne.jp/~urutora/4ji1.htm ※butterfly_searchにはデフォルトでサンプルとして組み込み済み ２．調査方法 butterfly_searchの一括検索機能を使用して、検索対象から検索キーの出現回数を調査する。 ※butterfly_searchは下記からダウンロード可能。 　http://www.vector.co.jp/soft/winnt/util/se437071.html ３．結果 順位 出現回数 四文字熟語 読み 意味 1位 3387  年中行事 ...
続きを読む
  butterfly search 2.8c をリリースしました。 リリース先:   https://www.vector.co.jp/soft/winnt/util/se437071.html （vectorさんでの審査後に公開されます。執筆時点では2.8bが公開されています） 大きな修正は ・大きいサイズの圧縮ファイルも処理できるように修正。 ・圧縮ファイルの処理がエラーになる不具合の修正。 ・インデックス生成時の進捗メッセージを修正。 ・放送コード.xlsの梱包を中止。 です。 内部の修正として「ファイルをこまめにCLOSEするようにした」もあります。 環境によっては同時ファイルオープン可能数が10000程度の場合があり、高速化の為に大きなファイルはCLOSEしないという作りがエラーを招いています。 修正点が多いのでデグレートしていたら教えてください。
続きを読む
イメージ
butterfly search 4.2 をリリースしました。   リリース先:   https://www.vector.co.jp/soft/winnt/util/se437071.html （vectorさんでの審査後に公開されます。執筆時点では旧バージョンが公開されています） 変更点は処理速度向上と表記ゆれ検索機能の追加になります。 ■新機能　表記ゆれ検索 この機能は聞いた事ないと思います。世界初※ではないでしょうか。 表記ゆれと言っても、タイポ（複数文字の誤りや抜け）を見つける機能となります。 簡単にいうと ・disc → disk　　　 ・flag → flg を見つけてくれます。 対象は「アルファベット」と「数字」と「_」の列のみとなります。 編集距離（レーベンシュタイン距離）を意識しています。 ※Word等にも表記ゆれ検知はありますが辞書にない単語を表示しているだけだと思います。 ■実力 品質が非常に高いと言われるLinuxのソースコード（https://github.com/torvalds/linux）で確認したいと思います。 「kernel」という単語を「一文字違う」条件で検索すると、 一瞬にして5件のkernelバグ？（たぶんスペルミス）を見つけました。 著作権表記「Copyright」を「一文字違う」条件で検索すると、 スペルミスが4件見つかりました。著作権違反？（笑） ぜひbutterfly searchを活用して表記ゆれを見つけてください。 コードレビュー時に使用すれば、みんなびっくりする事間違いなしです。 ■表記ゆれ検索の使い方 マニュアルの整備が追い付いていないのでここにメモを書きます。 使用方法 検索文字列を入れて「表記ゆれ」ボタンを押下します。 ヒント （１）検索文字には、?と*が使用できます。 ?は1文字を意味します。 *は複数文字を意味します。 「A??B」 で表記ゆれ検索すると、例えば「AAAB」がヒットします。 「A*B」 で表記ゆれ検索すると、Aで始まってBで終わる単語がヒットします。 下記の表記ゆれ条件はすべて外しても「?」「*」が含まれていれば検索します。 （２）シフトキー シフトキーを押下すると?と*の部分のみ表示されます。目がカチカチするのでこの機能を入れています。 ※1つ...
続きを読む