Pixivのスクレイピング

Pixivに投稿された小説の中で服部の瞳の色がどんな感じで描写されてるのか気になったので、調べることにした。そのために、「服部平次」タグのついた小説の本文から「瞳」を検索し、その前後10文字を取ってくるという作業をPythonで書いた。そのときにいろいろ試行錯誤したので、メモしとく。

まず、PixivのHTMLの構成を調べた(2017/7/22時点ではこんなんだったけど、いつ変わるかわからない)。

検索画面

タグ=服部平次, 順番=古い順で検索したときのURLは以下の通り。

https://www.pixiv.net/novel/tags.php?tag=%E6%9C%8D%E9%83%A8%E5%B9%B3%E6%AC%A1&order=date&p=ページ数

ページに作品があるときとないとき

あるとき(*‘▽’)

<dl class="column-related inline-list"></dl>
<ul class="novel-items autopagerize_page_element novel-list">
    <li>小説</li>
    <li>小説</li>
</ul>
<dl class="column-related inline-list"></dl>

novel-itemsの中にそのページの作品がリストで並んでて、上下のcolumn-relatedっていうのは関連タグ。

ないとき(._.)

<div class="_no-item">見つかりませんでした</div>

一つ一つの作品

検索ページでの作品一つ一つのHTMLの構成。さっき<li>小説</li>って略したところ。

<li>
  <section class="_novel-item list-b">
    <div class="novel-contents">
      <div class="imgbox">
        <a href="/novel/show.php?id=000000">
          <img class="cover ui-scroll-view" data-filter="thumbnail-filter lazy-image" data-tags="" data-type="novel" data-id="000000" data-user-id="00000" data-src-filtered="https://source.pixiv.net/www/images/filtered-100.png?1" src="https://source.pixiv.net/www/images/common/transparent.gif">
        </a>
        <div class="chars">0文字</div>
      </div>
      <div class="novel-right-contents">
        <div class="_ui-tooltip bookmark-box" data-tooltip="0件のブックマーク">
          <a href="/novel/bookmark_detail.php?id=000000" class="bookmark-count _ui-tooltip bookmark-box"><i class="_icon sprites-bookmark-badge"></i>0</a>
        </div>
        <div class="title-box">
          <h1 class="title"><a href="/novel/show.php?id=000000">Title</a></h1>
        </div>
        <ul class="data">
          <li class="author">by <a href="/novel/member.php?id=00000" class="user ui-profile-popup" data-user_id="00000" data-profile_img="" data-user_name="Name">Name</a></li>
        </ul>
        <ul class="tags">
          <li><a href="" class="tag-icon">c</a><a href="">Tag1</a></li>
          <li><a href="" class="tag-icon">c</a><a href="">Tag2</a></li>
        </ul>
        <p class="novel-caption">Caption</p>
        <div class="_one-click-bookmark js-click-trackable " data-click-category="abtest_www_one_click_bookmark" data-click-action="novel" data-click-label="000000" data-type="novel" data-id="000000"></div>
      </div>
    </div>
  </section>
</li>

だいたいこんな感じ。作品情報もユーザー情報もほとんどわかるが、投稿日時等は詳細画面に移らないとわからない。

小説の詳細画面

小説の情報

<ul class="meta">
  <li>2017年8月10日 08:10</li>
  <li>小説 2P</li>
</ul>

「3/4」って感じで現在位置とページの総数を教えてくれる表示もあるけど、そこはhtmlでは「読み込み中…」になってて後から書き換えられるタイプなので、スクレイプするのめんどくさそう。

本文

<textarea name="novel_text" id="novel_text">本文本文本文</textarea>

こんな感じで入ってる。このtextareaに全ページ分の文章が入ってて、ページ区切りは[newpage]で仕切られてる。

re.sub(r'\s|\n| ', '', 本文)

↑のように書いたらスペースとか改行取り除けた。

ログインする

初め、ログイン処理書かずにそのままスクレイプしたら、R-18小説とかが取得できない上に検索結果の10ページまでしか見れなかった。それでは困るので、まずPixivに自分のアカウントでログインする。

ログイン処理にはmechanizeがいいって聞いたけど、Python3をサポートしてくれてないので、RoboBrowserを使った。

from robobrowser import RoboBrowser

browser = RoboBrowser(parser='lxml', history=True)
browser.open('https://accounts.pixiv.net/login')

form = browser.get_forms('form', class_='')[0]
form['pixiv_id'] = email_address
form['password'] = password
browser.submit_form(form)

page = 100
browser.open('https://www.pixiv.net/novel/tags.php?tag=%E6%9C%8D%E9%83%A8%E5%B9%B3%E6%AC%A1&order=date&p=' + str(page))
novel_items = browser.find(class_='novel-items')
print(novel_items)

ログインして、試しに服部平次タグで検索した100ページ目にある小説一覧を取ってきた。

Pixivのログイン画面のformタグにはidも何もついてないのでどうしようかと思ったけど、class指定を空にしてget_formsしたやつにインデックス0を指定したら取得できた!

小説情報を取る

novel_items = browser.find(class_='novel-items')
    
if novel_items == None:
    break
    
# ページ内の小説をループ
for novel in novel_items.find_all(class_='_novel-item'):
        
    novel_url = pixiv_url + novel.find('h1').find('a')['href']
    browser.open(novel_url)
    
    # 小説の情報
    title = novel.find('h1').find('a').text
    author = novel.find('li', class_='author').find('a').text
    date = browser.find('ul', class_='meta').find('li').text.split(' ')[0]
    text = re.sub(r'\s|\n| ', '', browser.find('textarea', id='novel_text').text)

これで、タイトル・作者名・投稿日・本文を取得できる。

「瞳」という表現の前後それぞれ10文字を抜き出す

import re
for match in re.finditer('瞳', text):
    print(text[max(0, match.start()-10):min(len(text), match.start()+10+1)])

Wikipediaの文章に使ってみたら下のような感じで出てくる。

膜状組織であり中央に瞳孔と呼ばれる開口部を
後方奥は眼底と言い、瞳孔を通じて検視鏡で観
される。虹彩筋のうち瞳孔括約筋は動眼神経支
約筋は動眼神経支配、瞳孔散大筋は交感神経支
交感神経支配であり、瞳孔径の変化に寄与する
経となり、毛様体筋と瞳孔括約筋に分布する。

こんな感じで出てきたやつを集計した結果、以下のようになった。

あほらしい集計だけど、Pythonでのスクレイピングは初めてだったので楽しかった! 小説書く方たちの豊富な表現も見てて面白かった(*‘▽’)

服部平次の「おっさん」「おっちゃん」呼び分け

この前やっとCourseraのMachine Learningのコースを修了した。習ったことを何か日常で気になることに生かせないかなと思って、服部平次の「おっさん」「おっちゃん」の呼び分けの傾向を求めるのに使ってみることにした。

服部は中年男性のことを「おっさん」もしくは「おっちゃん」と呼ぶが、どうやって呼び分けてるんやろなって前から不思議に思っていた。

前提

  • ひらがなとカタカナの区別はつけない

  • binary classificationで、「おっちゃん: y = 1, おっさん: y = 0」とする

  • 92巻までのセリフを用いる(そこまでしかテキストデータ化終わってないから)

  • 小五郎は別格なので除外する

feature

どういうfeatureがあるのか考えた結果、「巻数」「親密さ」「疑惑度」「方向」の4つを作ることにした。

1. 巻数(= 時代)

初期の服部は割と雑な感じで「おっさん」って呼びがちで、最近の服部は人懐っこくて「おっちゃん」をよく使ってる気がする。

2. 親密さ

服部と相手がどれくらい親しいか。

馴染みの相手には「おっちゃん」を使う傾向が高そう。

目安
0 初対面・面識なし
1 面識あり・少し話したことがある
2 かなり話したことがある・親しい

3. 疑惑度

服部が相手に対してどれくらいの疑惑を抱いているか。胡散臭い相手に対しては「おっさん」の方が適している気がする。

目安
0 潔白もしくは被害者側
1 少し怪しい・容疑者の一人である
2 かなり怪しい
3 犯人だと確定している

被害者だとしても、胡散臭くて怪しい奴であれば、1とする(K3で殺された新聞記者とか)。

4. 方向

服部が相手に対してどういう方向で話しているか。面と向かっているときの方が「おっちゃん」を使いがちな気がする。

目安
0 相手に聞こえないところで言及している
1 相手に聞こえるところで言及している
2 相手に向かって話している

データ収集

服部のセリフデータから「おっさん」「オッサン」「おっちゃん」「オッチャン」で検索し、小五郎に言及しているもの以外を以下のようにまとめた。

f:id:YaaMaa:20170612022458p:plain

(一番右のカラムは、どれがどのシーンか思い出しやすいようにするためのメモ)

データ数は80個となった。少ないかな…。

赤馬のおっちゃんや郷司のおっさんなど途中で疑惑度が変化した人もいるので、同じ人を複数回呼んでるのも全部記録した。シンフォニー号の事件で助けてくれた漁師の方たちとか親密さがわからない人については、適当に予想した。

相関関係

ここで相関関係求めて意味があるのかはわからんけど、試しに出してみた。scipy.stats.pearsonrに計算してもらうと、以下のようになった。

yと○○の関係 相関係数 P値
巻数 0.6596983083448209 2.8327330071418733e-11
親しさ 0.29273833233028956 0.008410796649393136
疑惑度 -0.06611364854623174 0.5601156608149662
方向 -0.02280254169471079 0.8408797463324191

巻数とyは思ったより相関関係あるし、親しさとyも小さいけど一応あると言える。疑惑度と方向については、yとの相関関係はほとんど見られないみたい。

SVCで学習する

まずはscikit-learnのSVCで学習してもらってみる。カーネルは、一番定番と呼ばれててCourseraでも重点を置いて教えてくれたRBF kernelを使う。ハイパーパラメータについては、グリッドサーチしてF1 scoreが良さそうだった組み合わせ(C=5, gamma=0.5)にした。グリッドサーチしたって言っても、めっちゃシャッフルの影響受けて毎回最適値がコロコロ変わるから、キリのいいところで適当に決めた。

import numpy as np
from sklearn import preprocessing
from sklearn import svm
from sklearn.metrics import classification_report

y, volume, intimacy, suspicion, direction = np.loadtxt('ossan.csv', unpack=True, delimiter=',')

# create and preprocess feature matrix
X = np.c_[volume, intimacy, suspicion, direction]
X = preprocessing.scale(X)

# SVC with rbf kernel
clf = svm.SVC(kernel='rbf', C=5, gamma=0.5)
clf.fit(X, y)

# evaluate
print(classification_report(y, clf.predict(X), target_names=['おっさん', 'おっちゃん']))

訓練用データに対してのclassification_reportを出したら以下のような結果になった。

precision recall f1-score support
おっさん 0.94 0.97 0.96 33
おっちゃん 0.98 0.96 0.97 47
avg/total 0.96 0.96 0.96 80

訓練用データだから高いのは当たり前なんだけど、それでも予想外に高かった。SVMすご…。

けど、目的は呼び方を正しく予測することではなくて、だいたいの傾向を見出すことである。RBF kernel使ったら、精度はいいけど、もともとのfeatureがどう影響してどうなってるのか私には全くわからん。linear kernelを使ったらそれぞれのfeatureにかかる係数を見れるみたいなので、試してみた。

Linear kernelでのSVC

# データの用意などはさっきと一緒

# SVC with rbf kernel
clf = svm.SVC(kernel='linear', C=1)
clf.fit(X, y)

# show coefficients
for coef in zip(['volume', 'intimacy', 'suspicion', 'direction'], clf.coef_[0]):
    print(coef[0] + ': ' + str(coef[1]))

今回は、F1 scoreは0.89だった。線形だからもっと下がるかと思ってた(*‘▽’)

係数

係数が正であれば、そのfeatureの値が大きいほど「おっちゃん」と呼びやすい。負であれば、そのfeatureの値が大きいほど「おっさん」と呼びやすい。

予想した符号 実際の係数 予想が合ってるか
巻数 2.34837022019
親密さ 0.227720579735
疑惑度 -0.158394754511
方向 0.36036075643

符号的には予想と一致してるけど、巻数以外はほぼ影響してないように見える。

可視化

そのままだと次元数が多くてグラフにできないので、「巻数 + 別のfeature1個」でRBF kernel使って学習した結果をグラフにした。

赤が「おっちゃん」、青が「おっさん」。

f:id:YaaMaa:20170614005146p:plain

f:id:YaaMaa:20170614010317p:plain

上はpredict、下はdecision functionから出てきた値のグラフ化。

親しさについてはまあまあ傾向が感じられるけど、疑惑度と方向については何も読み取れない…。

結論

昔の服部は「おっさん」を使いがちで、近頃の服部は「おっちゃん」を使いがち。親しさはちょっと呼び方に関係するが、疑惑度と方向はほとんど関係なさそう? もしかしたら私がfeatureとして作れなかっただけで、もっとちゃんとした決め手があるのかもしれない。

初対面の人を「おっさん」呼ばわりする失礼な服部も、馴れ馴れしく「おっちゃん」って呼ぶ服部も、どっちも好き。

服部平次絶体絶命の暗号を作成するツール

名探偵コナンの第323~324話「服部平次 絶体絶命」に登場する暗号を自動で作れるサイトを作ってた。期末テストの息抜き程度に作る予定だったのに、いつの間にか春休みも半ばになってた(゜_゜)

hattori.cipher.jp

アニメ内では、服部平次は監禁された状態で提示された暗号を解いた上で、犯人を表す暗号に脳内で作り替えてコナンに送るというすごいことをやってのける。どういう思考回路してるのか全く理解できないんだけど、暗号を作成するプログラムを作ったら何かわかるかもしれないと思ったので、これを作った。

※ 暗号の解き方も書いちゃっているので、思いっきりネタバレです!

暗号の解き方

まず、楠川さん作の暗号を使って解読方法を復習する。

暗号は、以下のように7×7=49個の英数字からできている。前提知識としては、この暗号が7桁の数字を表しているということと、暗号の作成者が博打好きだということがある。

Q52A252
K332Q44
4KQQKJ6
AQJ96J3
355533Q
6246426
2KK53KA

1. アルファベットを数字に直す

暗号内のアルファベットがA, J, Q, Kであることから、これはトランプを表していると考え、それぞれ数字に直す。A→1, J→11, Q→12, K→13。

 12521252
 133321244
413121213116
 1121196113
  35553312
  6246426
2131353131

このようにアルファベットを数字に直す作業を「展開」と呼ぶことにする。また、その逆の操作を「短縮」とする。

展開の結果、暗号は64個の数字となった。

2. 仲間外れの9を除き、その9で残りの個数を割ると、答えの桁数である7になる

1~6の数字は多くあるのに、一つだけ9があることに注目する。仲間外れの9を除くと数字は64-1=63個となり、これを9で割ると答えの桁数である7となる。

125212521
333212444
131212131
161121161
133555331
262464262
131353131

↑9を除いた数字を9個ずつで改行したところ。数字が7行できていることがわかる。

この一行ずつが、答えの一桁ずつを表しているのではないか、と考える。

3. サイコロに当てはめる

1~6の数字があることと、暗号の作成者が博打好きであることから、サイコロを連想する。サイコロは正方形なので、9つの数字の組を一つのサイコロに見立てて、3×3の正方形に並べる。

125
212
521

333
212
444

131
212
131

(略)

4. それぞれの数字をサイコロに置き換える

f:id:YaaMaa:20170315175512p:plain

(4文字目以降は省略)

すると、赤い丸を持つ1だけが浮かび上がるので、3×3の枠全体を一つのサイコロと見ると、3156204(語呂合わせで「サイコロ振れよ」)の数字が浮かび上がる。これが暗号の答え。

※ コナンが作った暗号では、3×3の枠全体をサイコロと見なすのではなく、ただ枠に現れる模様を見る。すると、カタカナで「ソトニサソエ」と浮かび上がり、これが答えとなる。

解き方を知った上で暗号を解くと、

展開 → 9を除いた残りを3×3の枠に流し込む → 1が形成する模様を読み取る

という割とシンプルな方法で解ける。

暗号作成

こういう暗号を作るにあたって、二つの記号を定義しておく。

  • N: 2, 3, 4, 5, 6
  • R: Q, K

暗号では結局1以外の数字は「1でない」ことに意味があり、実際の数字なんて何でもいいので、2~6はNと抽象化しといて後で振り分けた方が楽。同様に、QとKも二桁目が2であるか3であるかの違いしかないので、「1以外は何でもOK」という考えの下ではそれほど違いがないため、まとめてRと置く。

ユーザーからの入力

ユーザーから暗号の答えを入力してもらう。

入力する方式は下の二つを用意しなければならない。

  • 模様: コナン作の暗号のように、3×3のマスの中の模様が表すものがそのまま暗号の答えになる場合

  • 数字: 楠川作の暗号のように、3×3のマス全体を一つのサイコロと見立てて数字を導き出す場合

入力されたら、1になるところをA、1以外になるところをNとしておく。

例えば、数字の入力欄に「810」と入力されたら

AAA ANA AAA  NNN NAN NNN  NNN NNN NNN

となるし(「8」はサイコロにない数字なので、勝手に模様作った)、模様の入力欄に

■□□
■□□
■■□

□■□
□□□
□■□

■□□
■■□
■■□

と入力されたら

ANN ANN AAN  NAN NNN NAN  ANN AAN AAN

となる。

短縮

数字をアルファベットに直す操作。短縮には二種類ある。

  • AA-J短縮: AAは「11」の意味なので、Jと短縮できる。

  • AN-R短縮: ANは「1, 1以外の数字」が並んだものなので、Nを2or3に限定することでRと短縮できる。どうせNは後から2~6のどれかの数字に決まることになるので、ここで限定しちゃってもOK

最低短縮数を設定する

J, Q, Kが揃ってないとトランプだとわかってもらうのは難しいので、それぞれ最低一つずつほしい。なので、

  • AA-J短縮の最低短縮数は1

  • AN-R短縮の最低短縮数は2

とする。これに従えない場合(以下で求める短縮可能数が十分でない場合とか)は妥協する。

短縮可能数を調べる

AA-J短縮とAN-R短縮がそれぞれ何回行えるかを調べる。

  • AA-J短縮: Aが連続して二つあり、且つ一つ目のAがそのAの連続内で奇数個目にあるときに行える

  • AN-R短縮: AとNがこの順で連続していて、且つAがそのAの連続内で奇数個目にあるときに行える

合計短縮数を決める

短縮を一度行うごとに、暗号は一文字ずつ短くなる。

つまり、合計短縮数は、展開後の数字の個数 - 展開前の英数字の個数である。作中に出てきた暗号の場合、82-72=15回。

展開後の数字の個数はユーザーからの入力によって自動で決まるけど、展開前の英数字の個数は特に決まっていない。とはいえ、以下のような制限がある。

  1. n2でなければならない

    展開前の英数字の並びが正方形であるというのには、服部曰く「サイコロを表す」という意味があるので、正方形にできるように自然数の二乗個でなければならない。

  2. n2であるとき、nは奇数でなければならない

    9を中央に配置するというのには、服部曰く「サイコロの1の目を表す」という意味があるので、9を中央に配置できるように一辺の個数は奇数でなければならない。

これらの条件を考慮して、また短縮可能数に収まる範囲内で、(そしてできれば最低短縮数よりは多く、)短縮合計数を決める。

ただし、上記の二つの条件には従えない場合がある。例えば暗号の答えが「0」だったとき、暗号は「NNN NNN NNN」のどこかに9を挿入したものとなる。すると数字が10個となり、短縮可能数も0なので、n2には絶対にできない。こういうときは妥協する。

短縮数を分配する

合計短縮数を、AA-J短縮とAN-R短縮に分配する。楠川さんたちが作った暗号での配分は以下の通り。

J + R J R
楠川作 15 3 12
服部作 15 4 11
コナン作 15 5 10

だいたいJの個数:Rの個数=1:2~4くらいが妥当なのかなと思う。

なので、配分の仕方は以下のようにした。

  • 合計短縮数 < 最低短縮数の合計になってしまうときは、それぞれの最低短縮数に比例するように短縮合計数を分配する

  • 最低短縮数の合計 < 合計短縮数の場合は、最低短縮数を満たせば、あとはなるべく上記の比率に従うようにランダムで分配する

置換/反転

ただ短縮しただけでは、文字の配置はワンパターンになってしまう。例えば、「AAAAAN」という並びは、「JJAN」「AJAR」などいろいろな方法で短縮できるのに、上記で行った短縮だけだと毎回同じパターンになってしまう。それを防ぐために、置換や反転を行う。

  • JNとARの置換: JNは、NをRに限定することでARと置き換えられる。特にRの数が足りないときに積極的に置換する

  • AとJの反転: AとJが隣接しているとき、それらはひっくり返しても大丈夫

具体化

抽象化してあったRとNを具体化する。

Rの具体化

RをQとKに具体化する。楠川さんたちが作った暗号では平等に割り振られているので、それに従う。

R Q K
楠川作 12 6 6
服部作 11 6 5
コナン作 10 5 5

Rが奇数個で余ってしまったら、服部作のに倣ってQに回せばいいかな。

Nの具体化

楠川さんたちの暗号での2~6の出現回数は以下の通り。

  • 楠川作
展開前 展開後
2の出現回数 7 13
3の出現回数 7 13
4の出現回数 5 5
5の出現回数 6 6
6の出現回数 5 5
  • 服部作
展開前 展開後
2の出現回数 5 11
3の出現回数 5 10
4の出現回数 6 6
5の出現回数 4 4
6の出現回数 6 6
  • コナン作
展開前 展開後
2の出現回数 3 8
3の出現回数 3 8
4の出現回数 4 4
5の出現回数 3 3
6の出現回数 4 4

こう見ると、展開後ではなく展開前の時点で大体均一に分配すればいいことがわかる。

これくらいのばらつきを保ちつつ、ほどよく均一に分配する方法を調べてたら、以下の記事がすごい参考になった。

Box-Muller法を用いて正規分布に従う分配を行う - Qiita

この方は、出てきた二数を$readyを使うことで効率的に使ってるけど、めんどくさいし、片方しか使ってない例(書いた方は「大丈夫なのか…」と不安げにしてはるけど、結果のグラフはいい感じに見える)もあるので、まあいっかと思って片方しか使わなかった。

標準偏差はどうするのかということだけど、こういう場合平均が上がるにつれて標準偏差も大きくなっていくのが自然だと思うので、標準偏差を平均で割ってみたらどんな値が出るか見てみた。

平均 標準偏差 標準偏差/平均
楠川さん作の暗号 6 0.89443 0.14907
服部作の暗号 5.2 0.74833 0.14391
コナン作の暗号 3.4 0.4899 0.14409

かなり一定になってる! なので、この平均をとって、標準偏差=平均*0.146にした。

(後から知ったけど、標準偏差/平均は「変動係数」と呼ばれるもので、ちゃんと意味のある数値らしい)

また暗号を解く際に服部が「1から6までは仰山あんのに、9は一個だけしかない」と言っていたことから、9を際立たせるために2~6は複数個、最低2個ずつないといけない。 更に、Nが極端に少ない場合、6を出現させるのを最優先する。「サイコロ」という発想を浮かばせるためには、「6までの数字がある」と認識させるのが大事だから。それに、2や3はRの展開で出てくる可能性もあるから、Nで無理に作る必要性はあんまりない。

なので、2~6までに2個ずつ配分できるほどNが多くない場合、つまりNの個数<(6-2+1)*2のときには、6→5→4→3→2→6→5→…の順で配分していく。

9の挿入

最後に、真ん中に「9」を挿入する。

これで暗号が完成!

できたもの

hattori.cipher.jp

↑のページで公開していますので、よかったら遊んでみてください。結構な頻度で「この暗号には問題があります」って出るので鬱陶しいと思います(*‘▽’)

ミニバードで無料ドメイン見てたら、「cipher.jp」っていうのがあったから、ぴったりな名前やなって思ってすぐ取得した。

サイト内で一番力を入れたのは、暗号解読画面の解説。なんとかアニメ放送された本家の画像をcanvasで再現しようと頑張った。

f:id:YaaMaa:20170315133906p:plain

f:id:YaaMaa:20170315133928p:plain

f:id:YaaMaa:20170315133940p:plain

f:id:YaaMaa:20170315180929p:plain

上が本家、下がcanvasで作ったやつ。よく見るとグラデーションの色合い・角度とか服部のツノ(一枚目の右上から生えてるやつ)のとんがり具合とかいろいろと違う(・_・`)

あと、楠川さんの暗号って3×3の枠に流し込んだときに2~6がすごい対称性のある綺麗な並びになるようにできてんねんかな。これのおかげで解読方法により確信が持てるようになるんだろうけど、私には真似できなかった…。服部とコナンも、(切羽詰まった状況で暗号作ったから当たり前だけど)そんなに対称性は持たせられてないので、まあしゃあないかと思って妥協してしまった。

服部が暗号を組み立てた手順

では、作中で服部がどんな感じであの暗号を組み立てたのか考えてみる。

まず、下3行を血で汚した理由だけど、あれは「3文字分で弁護士のことを表せるから、およそ3文字分に相当する3行分を汚そう」と思ったのか、「血の量的に汚すのは3行が限界だから3行分汚そう」となったのかどっちかはわからない。というか、手を使えない状況でどうやって暗号の紙を血で汚したんだろう。顎から一滴一滴したたらせてたんだったら死ぬほど時間かかるし、楠川さんに手伝ってもらったんかな。めっちゃ大変そう。

いずれにせよ、下3行分を見えなくした時点で、展開前の(7×3=)21文字が隠されたことになる。これは展開後の25文字分に相当する。3×3の枠で3文字を表そうと思ったら27個(=3×3×3)の数字が必要だが、最初の二つ(暗号全体の展開後でいうと後ろから26個目と27個目)を楠川さんのと共通にしとけばOK

そこを共通にするためには、犯人を示唆する文字列の一文字目はANから始まることになる。「Lib」ならその条件を満たしている。

Libを3×3の枠×3で表そうとすると、

(AN)N
ANN
AAN

NAN
NNN
NAN

ANN
AAN
AAN

上のように配置することになる。これを全部繋げると、下の通り。

(AN)NANNAANNANNNNNANANNAANAAN

※ 初めのANは既に固定されているので、()付きで表した。

このうち初めのANを除いた「NANNAANNANNNNNANANNAANAAN(25文字)」を短縮して21文字(7文字×3行)にすればいい。なので、短縮は25-21で4回行う。

血で汚れてないところにもJ, Q, Kはそれぞれトランプを連想するのに十分な回数出てるから、今からの短縮では特に文字の出現回数は考慮しなくて大丈夫。

短縮できるのは、0始まりで数えると、

  • 1-2個目: AN-R

  • 4-5個目: AA-J or 5-6個目: AN-R

  • 8-9個目: AN-R

  • 14-15個目: AN-R

  • 16-17個目: AN-R

  • 19-20個目: AA-J or 20-21個目: AN-R

  • 22-23個目: AA-J or 23-24個目: AN-R

これだけある。このうち、服部は4-5, 8-9, 20-21, 23-24個目を短縮した。

(私の方法でいったら、AANをARにするためにはまずAA-J短縮をしてからJN-AR置換をするけど、あれはプログラム書くときに楽な方を取っただけで、人間だったらAANからそのままAN-R短縮すると思う)

短縮が終わったら、下のようになった。

NANNJNNKNNNNANANNAQAK

最後に、Nに2~6までの適当な数字を分配する。

3A55J64K6243A6A64AQAK

これを上の4行と合わせたら、工藤に送る暗号の完成。

殺されそうな瀬戸際で、殴られまくって頭ガンガンしてるだろうに、血で汚れてない上4行を記憶しながらこんだけ考えられるなんて、服部ってすごい…(゜-゜)


USJでやってるコナンアトラクションの服部がめっちゃかっこいいらしい。何としてでも行かなければ(>_<)

コナンの「月と星と太陽の暗号」のフォントを作る

名探偵コナンの「月と星と太陽の秘密」のネタバレになってます!


名探偵コナンのアニメ163~164話で出てきた暗号をフォントにしたいと思った。

これがコナンくんが作成した解読表↓

InkscapeにSVG Font Editorっていうのが入ってたので、それを使って作る。

svgで一文字ずつ作らんとあかんねんけど、めっちゃ面倒。こんなに規則性がある文字なのに普通に一文字ずつ作るのは非効率極まりないと思ったので、パスの数値とかはスクリプトから出力することにした。

今JavaScriptの書き方しか覚えてないので、それで作る。URLのパラメータでひらがなを指定したらパスのd属性の中身が出てくるようにする。

スクリプト作成

月、星、太陽の大きさをどれくらいにすればいいのかよくわからないので、とりあえず定数として定義しておく。

// 全体
var SIZE = 1000;
var CIRCLE_HANDLE_RATIO = 0.55;

// 文字本体
var MOON_DIAMETER = 760;
var STAR_DIAMETER = 800;
var SUN_DIAMETER  = 530;
var SUN_MARGIN    = 50;
var RADIATION_LENGTH = 110;

// 文字についてくる丸(濁点, 半濁点, 右下の丸)
var ATTACHED_CIRCLE_DISTANCE_FROM_CENTER = 380;
var ATTACHED_CIRCLE_DIAMETER = 150;

後から思ったけど、SUN_MARGINが小さすぎたせいで太陽の丸と放射線がすごく近くなり、太陽が工場の地図記号みたいになってしまった。

CIRCLE_HANDLE_RATIOっていうのは、円を描くためのハンドルの長さ。円の半径に対して0.55くらいにしたらいいって下のサイトに書いてくれてあったので、それに従った。

9.ベジェ曲線の方向線についての補足

それから、URLにくっつけるパラメータは、「char」と「small」の二つにする。charは"a"とか"ni"とかローマ字で受け取る。smallは、「ゅ」「っ」みたいな小文字にするかどうかをtrue/falseで指定。

つまり、次のようなURLが渡ってくることになる。

.../index.html?char=wa&small=true

それをJavaScriptのwindow.location.searchで受け取って、母音と子音で場合分けしながらパスの文字列を作っていく。

SVGの書き方は、私にとってはこのページが一番わかりやすい↓

svg要素の基本的な使い方まとめ

出力は、パスのd属性の中身だけでなく、それをsvgで実際に描画したものも出したい。

なのでindex.htmlには、描画したのを見せるためのsvgとd属性の中身出力用のpタグ、両方を置いておく。

実際にパラメータを入力してみると、以下のように出てきた。

char=gi&small=falseのとき

char=yu&small=trueのとき

これを見ながらさっきの定数を調節して大きさをいい感じにしたら、JavaScriptでやることは完了!

Inkscapeに移す

それでは、JavaScriptで出力されるd属性を使って、実際にInkscapeでパスを作っていく。

Inkscapeのxmlエディタを使って一文字ずつ作成していく。そして、ストロークをパスに変換して、塗りつぶす必要のあるやつ(え段、お段とか)は適宜塗りつぶす。この作業がめっちゃくちゃめんどくさかった。もしかしたら初めからInkscapeだけで描画してた方が早かったんかも…。

それから、xmlエディタの入力欄は、すぐ無効(disabledの状態)になって鬱陶しい。 普通に立ち上げると既に無効(たまにまぐれで入力できるときもある)。何か一つパスを選択した状態で立ち上げると、入力できる状態になる。 エディタ内でノードを新規作成すると、また無効になる。エディタウィンドウの外側に触れてしまっても無効になる。一旦無効になったら、また開き直すしかない。

これって私だけなんかな。検索しても同じような状況の人は全然出てこない。それとも検索力が低いだけ?

とにかく、ひらがなのパス全て作成し終えたら、一番めんどいところは終了。

SVG Font Editorを使う

作りたいフォントの全般設定(フォントファミリー名とか大きさとかの設定)をしたら、個々のグリフを作成する。

http://www.sturnus.net/inkscape/menu/svg_font.html

↑このページのやり方を参考にした。(「1文字ごとにレイヤーにしてください」っていうのには従わなかったけど多分支障はなかった)

グリフを十分な数追加してマッチング文字列も入力したら、xmlエディタとフォントエディタを突き合わせて一つずつ登録していく。登録するたびにプレビューが一文字ずつ出来上がっていくのが快感。

全部登録し終えたらInkscapeでの作業は終了!

ttfに変換

ttfに変換する前に、svgファイルをテキストエディタで開いて、fontタグのidをちゃんとした名前に変えておく。じゃないと後々後悔する( ;∀;)

ttfに変換してくれるフリーのWebサービスはいくつかあるけど、Online Font Converterを使わせていただいた。サイトの見た目がめっちゃかわいいから。

ここでもらえたzipファイルの中にttfファイルがあるので、インストールする。

使ってみる

メモ帳で使った↓

ちゃんと暗号になってる!

メモ帳やとアンチエイリアスかかってなくて汚いけど、Inkscapeで使ったらきれいなフォントだったので安心。

ただ、二つ問題点がある。

1. Office系のソフトでは使えない

さっきのページによると、

なぜかオフィスでは英数字用のフォントになります。この状態では全角文字をこのフォントで表示することができません。調査中です。

とのこと。なのでWordでも使えず残念。

2. 他のフォントと並べると縦方向の位置がずれてる

作ったフォントに登録されてない文字(つまりひらがな以外全部)を入力すると、別のフォントで補ってくれる。ただ、そうやって並ぶと、下の画像のように縦位置がすごいずれてるのがわかる。

何が原因なのかはよくわからん。

配布

ここにttfファイル置いてあるので、よかったらどうぞ(*'▽')

https://drive.google.com/file/d/0B7anNAF08ZIbLTdEaEp2WTRxekU/view?usp=share_link&resourcekey=0-T02-brVMztN9-tX5YQLEnA

「せやかて」を遷移させる

2014年2月、つまり3年前からあった「"せやから"って文字を滑らかに遷移させたい!」という欲求を、今日やっと叶えることができた。といっても、内容は「せやかて」に変えたけど。

2014年2月

一番初め、私はモーフィングでそれを達成しようとした。

けど、いくらマークをたくさんつけても上手くいかなかった。遷移の途中が、下のようにすごく気持ち悪い感じになる。

f:id:YaaMaa:20170205045658j:plain

それで飽きたので、しばらく放置していた。

2014年10月

久しぶりに存在を思い出したので、もう一度チャレンジすることにした。このときにはペンツールを使えるようになっていたので、ペンツールを使って作ったsvgをアニメーションさせようとした。

しかし、「せ」から「や」に移行するところで、一画目の右側の丸まるところがうまくいかない。ノードがどういう動きをしているのかわからなかったので、ノードを赤・ハンドルを緑で表示してみたら、以下のようになった。

f:id:YaaMaa:20170205050641p:plain

ハンドルが逆行(?)してるっぽい。この辺でまた飽きて、考えるのをやめた。

2017年2月

また存在を思い出して、今度こそちゃんと作ろうと思った。去年やっとHTMLを覚えたので、ちょっとマークアップのやり方がわかってきてて、前回よりはやりやすかった。

今回は、「や」の右側の丸めをなだらかにすることで、ハンドルが逆行しないように気をつけた。根本的な解決にはなってないけど。

<svg width="600px" height="600px" viewBox="0 0 200 200"
     xmlns="http://www.w3.org/2000/svg" version="1.1">
  
  <g fill="none" stroke-width="16">
    <path d="M 25,97 C 82,82 138,79 176,80" stroke="#F44336">
      <animate
        attributeName="d" dur="5s" keyTimes="0.00; 0.25; 0.50; 0.75; 1.00" repeatCount="indefinite"
        values="M 25,97 C 82,82 138,79 176,80;
          M 31,104 C 191,12 183,109 139,116;
          M 29,84 C 144,49 125,98 100,165;
          M 168,41 C 69,88 62,147 148,158;
          M 25,97 C 82,82 138,79 176,80"/>
      <animate
        attributeName="stroke" dur="5s" keyTimes="0.00; 0.25; 0.50; 0.75; 1.00" repeatCount="indefinite"
        values="#F44336; #FFC107; #4CAF50; #3F51B5; #F44336"/>
    </path>
    <path d="M 134,33 C 135,64 133,102 128,122" stroke="#F44336">
      <animate
        attributeName="d" dur="5s" keyTimes="0.00; 0.25; 0.50; 0.75; 1.00" repeatCount="indefinite"
        values="M 134,33 C 135,64 133,102 128,122;
          M 101,29 C 108,33 117,41 122,48;
          M 139,64 C 152,75 167,102 172,127;
          M 35,71 C 61,57 141,45 168,41;
          M 134,33 C 135,64 133,102 128,122"/>
      <animate
        attributeName="stroke" dur="5s" keyTimes="0.00; 0.25; 0.50; 0.75; 1.00" repeatCount="indefinite"
        values="#F44336; #FFC107; #4CAF50; #3F51B5; #F44336"/>
    </path>
    <path d="M 70,48 C 61,159 71,171 154,161" stroke="#F44336">
      <animate
        attributeName="d" dur="5s" keyTimes="0.00; 0.25; 0.50; 0.75; 1.00" repeatCount="indefinite"
        values="M 70,48 C 61,159 71,171 154,161;
          M 57,42 C 72,81 94,139 103,172;
          M 86,33 C 76,78 59,129 41,159;
          M 168,41 C 141,45 61,57 35,71;
          M 154,161 C 71,171 61,159 70,48"/>
      <animate
        attributeName="stroke" dur="5s" keyTimes="0.00; 0.25; 0.50; 0.75; 1.00" repeatCount="indefinite"
        values="#F44336; #FFC107; #4CAF50; #3F51B5; #F44336"/>
    </path>
  </g>
</svg>

今回はわりと上手くいったので、gif動画にした。

f:id:YaaMaa:20170205051410g:plain

3MBもある!

サポートの問題

こうやってsvgをアニメーションさせるのはSMILというものを使ってるんだけど、ブラウザがもうすぐそれをサポートしてくれなくなるみたい。今もう既に非推奨とのこと。

代替としては、CSSアニメーションかJavaScriptがある。CSSアニメーションで複雑なことするのは大変なので、JavaScriptを使うことが多くなるかもしれない。

JavaScriptが嫌いなわけではないけど、svg動かすのに使うのは何か納得できん笑

RailsでjQueryからajax

jQueryを使ってajax通信を行いたいんだけど、Railsの環境だとどうしたらいいのか全くわからなかった。

rails ajax」で検索したら「remote: trueにしたらいい」っていう記事ばっかり出て来るけど、それはフォームでの話らしい。私の場合、画像をクリックしたらajax通信したいので、jQueryでイベント検知するしかないなって感じだった。

qiita.com

この記事がすごい参考になった。

それから、ajaxが終わったらその結果を使ってpartialを更新したかったので、以下の記事も読んだ。

Ajaxによるページ部分更新 [ Ruby on Rails ]

https://www.prime-architect.co.jp/myblog/ruby-on-rails-1559

やることは以下の通り。

1. jQueryでのイベント定義

$(canvas).on 'click', (event) ->
  $.get('upload/show_similar_hattoris', {rgb: rgbAtPixel})

キャンバスをクリックしたら、rgbっていうデータを持ってupload/show_similar_hattorisへ行ってもらう。

2. routesの設定

get 'upload/show_similar_hattoris'

1のjQueryから来たのをちゃんと受け止めてあげられるように。

3. controllerのアクションの定義

def show_similar_hattoris
  @similar_color_hattoris = similar_color_hattoris(nil, rgb)
  @similar_dark_level_hattoris = similar_dark_level_hattoris(nil, dark_level(rgb))
end

こうやってインスタンス変数を持たせてあげると、ちゃんとpartialに渡せる。渡す処理は次に書く。

4. viewの定義

controllerでアクションを作ったら、普通ならそれに対応するviewを「アクション名.html.erb」で作るものだけど、今回は「アクション名.js.erb」で作っておいて、その中に「htmlを差し替える」っていう処理をjsで書いておけばよい。

$("#similar_hattoris_container")
  .html("<%= escape_javascript(
    render 'partials/image_detail_similar_hattoris',
    similar_color_hattoris: @similar_color_hattoris,
    similar_dark_level_hattoris: @similar_dark_level_hattoris
  ) %>");

ここで、さっきcontrollerでもらった@similar_color_hattorisと@similar_dark_level_hattorisをpartials/image_detail_similar_hattorisに渡せている。

そして、そのpartialが#similar_hattoris_containerの中に反映されるということになる。

これで完了!!

すごい連携やね。めっちゃ混乱する。

色差を求める

ある色を与えられたときに、それに近似した色の服部をデータベースから探して5つほど表示したい。

近似色のデータを探すには、色同士の差を計算しなければならないので、やり方を調べて丸写ししてきた。

サーバー側での処理なので、Rubyで書いてる。

1. linear RGBに直す

与えられたRGBをlinear RGBに変換する。

普通のRGBとlinear RGBの違いは下の質問のベストアンサーがわかりやすかった。

stackoverflow.com

普通のRGBは人の目に合わせてできてるから、そのまま単純に計算するわけにはいかないみたい。

直し方は、まず範囲が0~255だったら255で割って0~1にスケーリングしてから、以下のようにする。

def to_linear(rgb)
  rgb.map do |element|
    if element <= 0.04045
      return element / 12.92
    else
      return ((element + 0.055) / 1.055) ** 2.4
    end
  end
end

2. XYZに直す

XYZは、RGBとL*a*b*に限らず、いろんな色空間の橋渡し的な存在みたい。

def rgb2xyz(rgb)
  m = [
    [0.4124, 0.3576, 0.1805],
    [0.2126, 0.7152, 0.0722],
    [0.0193, 0.1192, 0.9505]
  ]
    
  m.map do |m_row|
    m_row.zip(rgb).inject(0) {|sum, (m_element, rgb_element)| sum + m_element * rgb_element * 100}
  end
end

行列とか意味わからんかったけど、とりあえず掛け算のやり方だけ何とか覚えた。

初めてブロックパラメータに括弧使ったけど、普通に使えて感動した。

3. XYZのスケーリング

def scale_xyz(xyz)
  xyz.zip([95.047, 100.000, 108.883]).map {|xyz_element, n| xyz_element / n}
end

この係数は、L*a*b*の英語版Wikipediaの記事から取ってきた。なぜか日本語版には書いてくれてなかったので。

4. L*a*b*に直す

def xyz2lab(xyz)
  def f(t)
    if t > 0.0089
      t ** (1.0 / 3)
    else
      ((29.0 / 3) ** 3 * t + 16) / 116
    end
  end
  
  [116 * f(xyz[1]) - 16, 500 * (f(xyz[0]) - f(xyz[1])), 200 * (f(xyz[1]) - f(xyz[2]))]
end

Wikipediaのとはちょっとやり方が違うけど、もちろんどちらも答えは同じ。こっちの方がdeltaとか定義してなくて楽そうだったのでこっちにした。

5. L*a*b*同士で距離を求める

普通にユークリッド距離を計算したらいいらしい。

参考

色空間の変換

↑このページの(2)と(3)をめっちゃ読んだ。9割くらい意味わからんかった笑

qiita.com

↑このQiitaの記事にめっちゃまとめてくれてあった。この方は、L*a*b*では飽き足らず、更にレベルの高いことをやってはるみたい(よくわからん)。

できたもの

f:id:YaaMaa:20170205044359p:plain

画像中の色を指定したら、近い色の服部を返してくれる!

今はさくさく動いてくれるけど、これからデータを増やしたらどうなるのかちょっとどきどきしてる。