YAPC::Asia 2010へ行ってきたよ。

今回もメモ書きレベル以上に推敲できなかったです。

慶事の都合上初日しかいけなかったので、1日目だけのメモ書きです。

cloudforecast

長野雅広さん

• PDCAがだいじ
• 監視はCheckフェーズ

• 障碍監視
  • ping応答
  • http ssh 応答
  • ロードアベレージ

• • ツール
    • nagios mount

• リソース監視
  • 変化の可視化
  • ツール
  • cacti
  • munin
  • cloudforecast

• perlで書かれている
• RRDToolを利用したグラフ描写
• 高速動作 Gearman
• SNMP.pm CPANにあるのはNet-SNMPのバージョンに依存する
• fetcher workerとupdate workerを分けることでfetcherの数を自由に増やせる

• ライブドアでは
  • 監視サーバ 1200台以上
  • リソース 5000以上
  • 巡回にかかる時間30秒

• sudo aptitude install librrds-perl libsnmp-perl
• git から clone

• cpanm + extlib

• グループ単位で設定。大量にできる

• basic.yaml
  • 監視項目設定ファイル

• ついでにMySQLの設定をみることができる

• gearmandを利用する
• -rをつけるとファイル変更時に終了 > ヒント: deamontools

モダンなPerl5環境

tokuhiromさん

• 作ったもの
  • Tiffany
  • Amon2
  • Router::Simple
  • Test::TCP

• Perl5を使ったWEBアプリ開発をしている

Perl5 version

• system perl 標準のperlはよろしくない。
• コンパイラオプションが一般的
  • no "-Dusethreads"
  • スレッドはオフにした方がいい
    • 15%の速度が稼げる

• perl 5.10.0はよろしくない
  • memory leaks 正規表現のバグ
• perl 5.x.0はクオリティが高くない

• 今だと5.12.2

• 5.8.9でもいい
• 5.10系の機能
  • given / when
  • say
  • smart match
  • defined or (//) ☆
  • named capture

perlbrew

• local::libを使う必要無し
• 開発環境のperlをrsyncでばらまくと吉

• cpanm --installdeps .
  • 依存モジュールをインストール

cpan-outdated

• App::cpanoutdated
• アップデートがあったモジュールを検出
• cpan-outedated | cpanm
• cronで回す

cpanf

• fresh
• ミラーに反映されない場合。
• cpanm App::CPAN::Fresh

pm-uninstall

• pm-uninstall Acme::Famn

deployment

• perl5のディレクトリをそのままrsyncするのがおすすめ

• アプリケション特有のモジュールは extlib/
• no rpm; no deb;

CPANモジュールの選び方

• みんなが使っているモジュールを使う
• #perl-casual@irc.freenode.org
• 有名perl hackerが使っているモジュールを使う

• Task::Belike::
  • BINGOS
  • RJBS
  • FLORA
  • DOY
  • Tokuhirom

• 他の人に選んでもらう方が良い
• CPANソムリエになる方法 > はてな

• 2004年より前は危険な香り
• テストが放置されているのは危ない
• see t/
• バグレポートをためている
• dependencies

まとめ

• perl is undead

Inside mixi

廣木大地さん

• 2つのスケーラビリティ
• アクセス増加と変動に耐える
• 機能追加と多人数開発に耐える

memcached

• ラウンドロビン

キャッシュ方式

• リードスルー
  • 読み込み時にキャッシュに追加
  • 実装が簡単

• ライトスルー
  • 書き込み時にキャッシュに追加
  • DBに優しい

• 変速ライトスルー
  • DBに書き込んでから
  • マスターから読み出す

• 変速ライトスルー2
  • incrをうまく使い数を管理する
  • 数値のみ使える

キャッシュのレイヤー

• 絡む単位のキャッシュ
• ドメイン単位のキャッシュ
• サービス単位のキャッシュ

コードの複雑さを防ぐ

• コンポーネント横断で利用できるAPIを制限する
• 仲介するAPIを作る

• 副次的な処理はさサブモジュールにジョブキューで投げる
• ModelのCRUDにフックを仕掛けることができるようになった

DataPortability and social web

• Net::OpenSocial::Client
• 外向けにサービスを提供しているところが少ない

• openIDとOAuthの相違点
• 認証
• OID OPに認証を委譲
• OA OPに認証を委譲しているといえなくもない

• 連携
• OpenIdのOAuth Etension

• OpenIDの上にOAuthをのっけようという試み

OAuth2.0

• SSL必須(署名がなくなった?)

Studying HTTP with perl

malaさん

JavaScriptの人

並列じゃない

• LWP::UserAgentが一般的

• URI::Fetch
  • キャッシュしてくれる

• HTTP::Lite
  • 依存が無くてシンプル
  • httpのみ

• LWPx::ParanoidAgent
  • ローカルネットワークへのアクセスを拒否

• WWW::Curl
  • 速い

並列

昔

• HTTP::Async
• LWP::Parallel

今

• AnyEvent::HTTP
  • AnyEventで書かれている
  • 使い方は楽
  • ストリーミングとかにむいている

• Coro::LWP
  • LWPをCoro化する
  • Perlでコルーティン化を実現するライブラリ
  • coroは黒魔術

• AnyEvent::Curl
  • IO待ちがほとんどだと思っていた
    • 実際はLWPが遅すぎる
  • まだgithubにしかない
  • LWPより10倍速い
  • ブロッキングタスクであればWWW::CUrlの方がいい

• • LWP互換機能

Perlで並列処理入門

• ithreadバグっている
• 実質的にはforkによるマルチプロセス
• イベント駆動

• fork
  • OSまかせ ジョブ
  • マルチコアをいかせる

• AnyEvent POE
  • シングルプロセス
  • メモリが少ない

• coro
  • perlでコルーティンを実現
  • 簡単だがはまりどころがおおい
  • 変更が少ない

• イベント駆動型
  • 処理時間が予測できない
  • 強調動作が必要な場合

• RPC
  • HTTPの方が有利なケースが多い
  • KyotoTykoon

HTTPクライアントのテスト

• Test::Tcp

Tatumaki

• multipart/mixed
• Gearman
• WebService::Async

Webサービスのページング処理について

よしみさん

• ページングの方法
  • count(*)
  • CALC_FOUND_ROW
  • 一つ余分に取得
    • 次のページがあるかどうか分かればいいとき