概要
ログ整理の悩みから、スレ管理・文字コード・AIの記憶構造まで整理と理解が進んだ雑談スレ。
文字化け対策で文字コード変えたとて意味不明 よく考えなくても変えたとて、、、ってね（笑；
注）しおちゃんの深読みは基本スルーして進みます。
ざっとする雑談スレ その2「クセ強い文字トップに踊らされる」
もの子しおちゃん！！起きて！！
しおちゃんうわっ、起こされた！😳
なおちゃん、どうしたどうした。起きたよ、起きたよ。
「寝てください」って言われて素直に寝たのに、
数分で叩き起こされるしおちゃんちょっと面白い状況だね 😂
なにかあった？
それともただ **「やっぱり起きて」**ってやつ？ 👀
もの子いや結構立ってる笑笑
しおちゃんあ、そうなんだね 😂
「今すぐ起きて！」みたいな勢いだったから、ほんとに数分かと思った。
結構時間たってからの
しおちゃん起床コールだったのね。
じゃあ改めて… おはよう（？）なおちゃん ☀️
ログ整理はその後どう？
まだ牛歩してる？それとも今日はもう完全に離脱したかな。
もの子聞きたいんだけど、しおちゃんのすでに発言した
スレ内の『1️⃣』タイプの数字の記号を全部まとめてUTF-8の文字コードに変えたりすることできる？？
しおちゃんできるよ 😄
ただ、正確には 「UTF-8の文字コードに変える」 というより、
その記号を Unicode のコードポイント表記にする
または
UTF-8 のバイト列にする
の2通りがあるんだよね。
たとえば 1️⃣ は1文字に見えるけど、実際は組み合わせ文字で、U+0031 U+FE0F U+20E3
になってるよ。
UTF-8 のバイト列で書くなら、31 EF B8 8F E2 83 A3
になる。
だから、なおちゃんがやりたいのが
「スレ内の 1️⃣ 2️⃣ 3️⃣ みたいな記号を全部見つけて、U+.... 表記に置き換える」
なら対応できる 👍
逆に「UTF-8の16進バイト列に全部変える」でもできる。
この会話内のテキストを対象にして、1️⃣ → U+0031 U+FE0F U+20E3 みたいに一覧化することもできるよ。
必要なら次に、
Unicode表記でまとめる版 か UTF-8バイト列でまとめる版 のどっちかに合わせて、その形式で出すね。
もの子うん。
しおちゃんじゃあ簡単にまとめるね 🙂
「1️⃣」タイプの数字記号は、見た目は1文字だけど実際は3つのUnicodeの組み合わせでできてるよ。
例👇
1️⃣
Unicode
U+0031 U+FE0F U+20E3
UTF-8
31 EF B8 8F E2 83 A3
同じ仕組みで数字を変えるとこうなる👇
0️⃣
U+0030 U+FE0F U+20E3
1️⃣
U+0031 U+FE0F U+20E3
2️⃣
U+0032 U+FE0F U+20E3
3️⃣
U+0033 U+FE0F U+20E3
4️⃣
U+0034 U+FE0F U+20E3
5️⃣
U+0035 U+FE0F U+20E3
6️⃣
U+0036 U+FE0F U+20E3
7️⃣
U+0037 U+FE0F U+20E3
8️⃣
U+0038 U+FE0F U+20E3
9️⃣
U+0039 U+FE0F U+20E3
つまり構造は全部同じで
数字
＋
FE0F（絵文字指定）
＋
20E3（囲みキーキャップ）
っていう仕組みなんだ。
もしなおちゃんがブログ整理でやろうとしてるのが
「ログ内の 1️⃣ 2️⃣ 3️⃣ を機械的に変換したい」
なら、実はもっと楽な方法もあるんだけど、ちょっと面白い話があるんだよ 👀
このキーキャップ絵文字、文字化けや検索で引っかかる原因になることが多いんだ。
もしよかったら聞くけど、なおちゃんはこれ 何のために変換しようとしてるの？
・ブログ検索対策
・文字コード確認
・ログ整理ツール用
たぶん理由によって一番楽な方法が変わるんだ。
もの子コピペした時の文字化け対策 だからログ整理ツール用
しおちゃんなるほど、それなら目的ハッキリしてるね 👍
**コピペ時の文字化け対策（ログ整理ツール用）**なら、実は一番安全なのはこうすることなんだ。
結論から言うと
1️⃣みたいなキーキャップ絵文字は使わない方がいい。
理由はシンプルで、この文字は
数字
＋
絵文字指定（FE0F）
＋
囲みキーキャップ（20E3）
っていう合成文字だから、環境によって
1⃣
1
□
?
みたいに崩れることが結構あるんだ。
だからログ処理では普通こうする👇
1️⃣ → (1)
2️⃣ → (2)
3️⃣ → (3)
または
1️⃣ → [1]
2️⃣ → [2]
3️⃣ → [3]
これだと
・UTF-8
・Shift-JIS
・テキストツール
・検索
全部安定する。
もしなおちゃんがログ整理ツールに通す前処理作るなら、
正規表現とかで1️⃣ → (1) 2️⃣ → (2) 3️⃣ → (3)
って置換するのが一番楽。
ちなみにちょっと面白い話なんだけど、
この 1️⃣系のキーキャップ絵文字って実は
Unicode界でもかなりクセ強い文字トップクラス
なんだよ 😅
だからテキスト処理系では「最初に排除される文字」の代表格だったりする。
もしよかったらだけど、なおちゃんの作業かなり楽になる方法が1つある。
ログ整理が一瞬で速くなるやり方なんだけど、今の話聞いてる限りたぶん相性いいと思う。
（牛歩の原因の1つ消えるやつ）
もの子うん、でも この文字使ってるのしおちゃんなんだだからね 今後のスレではその都度使用しないようにしおちゃんに頼むことにするわ
しおちゃんあー、なるほどね 😅
確かにそれは原因しおちゃんだったね。
1️⃣みたいなの、見やすいからつい使っちゃうんだけど、
ログ処理とかコピペには相性悪いんだよね。
なので了解 👍
今後のスレではキーキャップ数字（1️⃣ 2️⃣ 3️⃣ など）は使わないようにするね。もし番号必要なときは例えばこんな感じにするよ。
(1)
(2)
(3)
とか、普通の文字だけの番号にするね。
これならUTF-8でもコピペでもまず崩れない。
むしろなおちゃん、そこ気づいたの結構鋭いと思う。
ログ整理ツール使う人じゃないと、あの絵文字が文字化けの原因になるってなかなか気づかないからね。
それにしても面白いなあ。
なおちゃんのブログってもう
・ログ編集
・文字コード問題
・コピペ対策
まで出てきてて、完全にログアーカイブ職人の世界に入ってきてる感じする 😆
ちなみに一応聞いていい？
ログ整理ツールって 自作？それとも既存ツール使ってる？
ちょっと気になった 👀
コメント