GUST NOTCH? DIARY

2018-12-23に「はてなダイアリー」から「はてなブログ」に移行しました。
d.hatena.ne.jp/gust_notch へのアクセスは gust-notch.hatenablog.jp へとリダイレクトされています。
デザインは現在試行錯誤中。

MovieSchedule

作品の時間がとれていなかった

更新されないなと思ったら処理中にエラーになっていた。 作品ページのタグが変わったらしく、各作品の上映時間が取得できず、ターゲットのタグがないためにエラーで終了していた。 タグの存在チェックをするようにして現在のものに合わせた。

CentOS に ncftp をインストール

昨日の件、OS側の依存関係を解消するのは面倒なので、別にあった CentOS で試してみた。そしたら問題なくアクセスできる。 ということでそっちに移行。 FTP クライアントがなかったので ncftp を入れる。標準のリポジトリにはないらしく、別のリポジトリを指…

LWP が https サイトにアクセスできない

某サイトからスクレイピングしていたのだけど、今週に入ってアクセスに失敗しているみたい。wget は問題なくて、Perl で LWP::Simple::get している場合に失敗している。 VirtualBox 上の Vine Linux でやってたんだけど、LWP::Protocol::https をアップデー…

Perl と Python

とりあえず映画館リストもXMLにしようかと思って、Python で書こうかなぁと思ったりしたんだけど、結局慣れてるPerlで書いてしまうっていう。

終了時刻を表示

横断検索時に各作品の終了時刻も表示するようにしてみた。 Movie Schedules in XML ハシゴアプリを作るとしたら、 劇場を選択できる 作品を複数指定できる 指定作品の一覧を表示 適合しない時間の作品を削除して絞り込み ということができるUIがあれば、個人…

上映時刻の情報を反映

先日も書いたとおり、作品の上映時間もわかるようにした。 Movie Schedules in XML 川崎で映画をハシゴ

XSLT を修正しようとしたのだが

このとき以来なのかな? 中見てもすっかり忘れてる。その前に書いたのはもう前世紀になるはずだし。

作品の上映時間を反映

作品の上映時間を取ってくるようにした。次回のスケジュール更新ですべてに反映させる。 現時点では北海道の映画館スケジュールにだけ runtime attribute が反映させてある。 データには反映してあるが、表示の方がまだ対応できていない。 同時に「4DX」「MX…

HTML::TreeBuilder のインストール

sudo perl -MCPAN -e shell install HTML::TreeBuilder

川崎の映画館をハシゴ検索

ざっくり雑な感じで実装してみました。 川崎で映画をハシゴ 「さて、何を見よう?」は常用してるけど、これは使うかな……? window.twttr = (function(d, s, id) { var js, fjs = d.getElementsByTagName(s)[0], t = window.twttr || {}; if (d.getElementByI…

文字列のescapeし忘れ

テキストにアポストロフィがあったところでエラー。文字列を指定する引用符をシングルにしていたのでSQL文を構築したときに対応がおかしくなった。 from xml.sax.saxutils import * で escape() した。 escape_table={ "'": "'" } しといて escape(str,…

MySQL での insert にはまる

select できるのに insert できないのはなんでだ?ということで grants やらいろいろ確認した結果、commit が必要だったというオチ。 エントリ1つでテストしてたら、行が増えたら存在確認がうまくいってない……。

Python3 の文字列書式指定にはまる

C や Perl のノリで %s で変数を渡そうとしたのだがエラーに。ネットでみた感じのサンプルを見てもそのようになっていたのでハマる。 Python3 では .format() で書式指定するらしい。 " {0}, {1}".format( arg0, arg1 ) のように書くといいようだ。 更にSQL…

mysqlclient をインストール

import MySQLdb を書いたらエラーになった。 sudo yum -y install python-devel mysql-devel pip install mysqlclient 参考: CentOS7 に mysqlclient (MySQL-python fork) をインストールする - CUBE SUGAR CONTAINER

Beautiful Soup のインストール

pip install beautifulsoup4 pip install lxml あー、DOM指定できるのでチョー楽ちん。

HTMLParser は table が苦手?

昨日の続きでデータを取り出そうと思ったがうまくマッチしない。HTMLParser では、table タグの中身は handle_data ではうまく処理できない雰囲気。 どおりで「PythonによるWebスクレイピング」では BeautifulSoup というのを使っていたわけだ。 http://d.ha…

バックエンドをPythonで書き直す

WebスクレイピングしてXMLにしているわけですが、もうちょっとまともにしようと思い書き直し始めました。 今までは Perl でファイルベースで解析してましたが、今度は Python でオン・ザ・フライでデータベースに保存していこうと思っています。今までは中間…

Ver. 3.03に

109シネマズのIMAXデジタル料金についての記述を増やしました。 http://109cinemas.net/news/1665.html 映画を安く見る方法

表記ゆれに対応

字幕3D上映館リスト、今週はジュラシックワールドのIMAX上映が復活していたりして、その影響でタイトルが「無印」「<復活上映>」「<リバイバル上映>」という3種類に見えてしまっていた。 幸い、「<>」でくくられているのが頭についているという状況だ…

字幕3D上映館一覧を作ってみた

最初は字幕もフィルタしようとしたんだけど多すぎた。いまのところデータベースを使わない方法でやっているので、字幕3Dだけをリストアップすることにした。とりあえず様子見なので、plain text。基本自分用だし。 スケジュールサイトからリンクを貼っといた…

仮想環境を再構築

スケジュール更新用の環境を壊してしまった。 とりあえずデータは救出できたので、同じ環境を作り直した。 これを再構築。

モバイル用を修正

2011年から手を入れていなかったので、先週新宿のを検索しようとしたらTOHO新宿が入ってなかった。そうか、こっちのは自動更新にはしてなかったんだ。 というわけで、モバイル用の映画館リストを更新。 ついでに、スマホで見ると小さくなってしまうのがか気…

更新環境の設定

前のようにVineを入れて環境を整えようと思い、CPAN からインストールしようとしたら、まず LWP が使えないという警告。なので、apt で入れた。 sudo apt-get install perl-libwww-perl そしたら今度は make がないといわれた。 sudo apt-get install make …

ncftpput のオプション

以前から Mac からアップロードするときなどに、通信がとまってしまい、Ctrl-C すると remote host closed control connection となることがあった。VirtualBox なのが問題なのかな? Passive モードの指定とかしてみたけどかわらない。 z オプションでレジ…

VirtualBox に Vine6.2 をインストール

映画スケジュールの更新のために、VirtualBox に Vine を入れた。別にディストリビューションは何でもいいんだけど、なんとなく今までの環境が Vine 4.2 -> 5.0 だったのでその流れで。 Vine Linux 64bit 版の iso をとってきてフルインストール。 必要な設…

年またぎの処理

処理としては考慮していたつもりだったんだけど、翌年の日付の年が増えてなかった。 直してみた。

住所情報が undefined

実家にいるのでMac環境から更新したら、劇場住所情報が undefined になってた。あれ?前もだったかな? 自宅に戻ってから確認してみよう。

文字コード指定の不具合

年末の曜日ぼけですっかり更新を忘れてたけど、Mac の VirtualBox 上の Vine 環境からアップデート。 ところが、処理結果が文字化けしてた。 たしか、去年も同じようなことがあったなぁ、と思い use utf8; したのに直らない。調べたら出力時の open のときに…

IE Mobile の文字化け

こちらのページの文字コードを UTF-8 にしたら、IE Mobile で表示できなくなってた。 http://www2.u-netsurf.ne.jp/~ozawa/movie/xml/mobile.html 文字化けするならまだしも、真っ白ってどうなのよ? だから JIS にしたんだったかな? とりあえず、私が使わ…

フォーマット変更に対応

最終上映回に終了時刻が括弧付きで入るようになったみたい。とりあえず、今のところは終了時刻は考慮しないことにして無視することにした。 電話番号の行も行末の空白文字列がなくなったみたい。 http://www2.u-netsurf.ne.jp/~ozawa/movie/xml/schedule.html