読者です 読者をやめる 読者になる 読者になる

ベンチマークスクリプトの管理

git

classxではちょっとベンチマークスクリプトを書いてみると、通常のクラスよりも非常に遅いこともあり、定期的にベンチマークを取って、あとからリビジョンも追えるように以下のようにリビジョンを残しつつ、結果をベンチマークスクリプト内にコメントとして残すようにしてました。

require 'benchmark'
$LOAD_PATH.unshift(File.expand_path(File.join(File.dirname(__FILE__), '..', 'lib' )))
require 'classx'

class PointWithClassX
  include ClassX
  has :x, :writable => true
  has :y, :writable => true
  has :z, :writable => true
end

class PointWithoutClassX
  attr_accessor :x, :y, :z

  def initialize hash
    @x = hash[:x]
    @y = hash[:y]
    @z = hash[:z]
  end
end

COUNT = 1000

point_with_classx = PointWithClassX.new({ :x => 0, :y => 0, :z => 0 })
point_without_classx = PointWithoutClassX.new({ :x => 0, :y => 0, :z => 0 })

def do_bench klass, style=:equal
  GC.disable
  COUNT.times do
    if style == :equal
      klass.__send__ :x=, rand(10)
      klass.__send__ :y=, rand(10)
      klass.__send__ :z=, rand(10)
    elsif style == :getter_with_arg
      klass.__send__ :x, rand(10)
      klass.__send__ :y, rand(10)
      klass.__send__ :z, rand(10)
    end
  end
  GC.enable
end


Benchmark.bm do |x|
  x.report 'classx with attr_name = val' do
    do_bench point_with_classx
  end
  x.report 'classx with attr_name(val)' do
    do_bench point_with_classx, :getter_with_arg
  end
  x.report 'normal class' do
    do_bench point_without_classx
  end
end

# On my environment( MacBook1.1 Intel Core Duo 1.83 GHz, 2GB), result is like that. TOOOOO SLOOOW classX!!!!.
#-
# ----------------------------------------------------------
# result after 0171feab
# classx with attr_name = val   0.030000   0.000000   0.030000 (  0.035114)
# classx with attr_name(val)    0.040000   0.000000   0.040000 (  0.053949)
# normal class                  0.010000   0.000000   0.010000 (  0.001969)
# ----------------------------------------------------------
# result after d85fa7ded
# classx with attr_name = val   0.020000   0.010000   0.030000 (  0.031880)
# classx with attr_name(val)    0.040000   0.000000   0.040000 (  0.049979)
# normal class                  0.000000   0.000000   0.000000 (  0.002021)
# ----------------------------------------------------------
# result after 92ed088b ( before 0.0.4 )
#                                 user     system      total        real
# classx with attr_name = val   0.020000   0.010000   0.030000 (  0.029100)
# classx with attr_name(val)    0.040000   0.000000   0.040000 (  0.050599)
# normal class                  0.000000   0.000000   0.000000 (  0.002188)
# ----------------------------------------------------------
# result after 3e97a758
#                                 user     system      total        real
# classx with attr_name = val   0.020000   0.000000   0.020000 (  0.026784)
# classx with attr_name(val)    0.030000   0.010000   0.040000 (  0.051044)
# normal class                  0.010000   0.000000   0.010000 (  0.002661)

ただ先月のあたりから、MacBookが不調になり、MacBookProに乗りかえたので、元々のベンチマーク結果があてにならなくなったので、もとの結果を消して、あらかじめ記録しておいたsha1(正確にはgit rev-parseで解釈できるもの)の順にベンチマークを記録して結果をファイルにするようなRakeタスクを書いてみた。

desc 'run generate benchmark history'
task :benchmark_all do
  require 'pathname'
  require 'yaml'

  base_dir = Pathname(File.expand_path(File.join(File.dirname(__FILE__), 'bench')))

  base_dir.children.each do |script|
    next unless script.to_s =~ /\.rb$/

    # extract DATA section from script
    yaml = ""
    File.open(script) do |f|
      rev_fg = false
      f.each do |line|
        if  /^__END__$/ =~ line
          rev_fg = true
          next
        end

        next unless rev_fg
        yaml << line
      end
    end


    unless yaml == ""
      outfile = "#{script}.result.txt"

      rm outfile if File.exist? outfile

      revisions = YAML.load(yaml)

      tmp_script = "#{base_dir}/.backup.rb"
      begin
        cp script, tmp_script
        system("echo '--------------' >> #{outfile}")
        system("echo 'system infomation' >> #{outfile}")
        system("echo '--------------' >> #{outfile}")
        system("uname -a >> #{outfile}")
        system("echo '--------------' >> #{outfile}")
        system("vm_stat >> #{outfile}")
        system("echo '--------------' >> #{outfile}")
        system("ruby -v >> #{outfile}")
        system("echo '--------------' >> #{outfile}")
        revisions.each do |rev|
          system("git checkout #{rev['sha1']}") or raise "git checkout failed!!"
          system("echo '--------------' >> #{outfile}")
          system("git show HEAD --pretty=oneline --stat | head -n 1 >> #{outfile}")
          system("echo '--------------' >> #{outfile}")
          system("ruby #{tmp_script} >> #{outfile}")
        end
      ensure
        rm tmp_script
        system("git checkout master")
      end
    end
  end
end

def system str
  warn "executed: #{str}"
  super
end

スクリプトはsystem使いまくりでろくに例外処理もしてない手抜きですが、もうちょっと汎用的にできないかと思いつつ、使いながら改良していこうかと思う。

ポイントはgit checkoutする前にベンチマークスクリプトをコピーしてリポジトリの管理対象外に用意しておくこと。あと結果のページに比較の邪魔にならないくらいシンプルかつコミットの概要を表示させる方法は模索した結果"git show HEAD --pretty=oneline --stat | hean -n 1"だった。symbolic-refとかもあわせて表示できるとなお素敵かもしれない。

いつもやるには重いんで、主にrelease前にパフォーマンスを落とすような変更が入ってないかチェックするのに使うのを想定している。

結果はこんな感じ。

--------------
system infomation
--------------
Darwin robin 9.6.0 Darwin Kernel Version 9.6.0: Mon Nov 24 17:37:00 PST 2008; root:xnu-1228.9.59~1/RELEASE_I386 i386
--------------
Mach Virtual Memory Statistics: (page size of 4096 bytes)
Pages free:                   107591.
Pages active:                 154412.
Pages inactive:               128948.
Pages wired down:              66279.
"Translation faults":     1204303202.
Pages copy-on-write:        16606839.
Pages zero filled:         136515961.
Pages reactivated:            335522.
Pageins:                      516980.
Pageouts:                     216625.
Object cache: 2169509 hits of 3871701 lookups (56% hit rate)
--------------
ruby 1.8.7 (2008-08-11 patchlevel 72) [i686-darwin9]
--------------
--------------
53ca6f5904e013ce2add078c363ccae15396228d Released 0.0.7
--------------
classx            0.020000>-  0.000000>-  0.020000>-(  0.012758)
normal class      0.000000>-  0.000000>-  0.000000>-(  0.001166)
--------------
1cd4943cf71c96d09d6aef15afaf79ec86cd0b5b release 0.0.6
--------------
classx            0.020000>-  0.000000>-  0.020000>-(  0.013466)
normal class      0.000000>-  0.000000>-  0.000000>-(  0.001193)
--------------
17a7717af41d9c55ff3b43a21bab445c3f78d2eb release 0.0.5
--------------
classx            0.020000>-  0.000000>-  0.020000>-(  0.016890)
normal class      0.000000>-  0.000000>-  0.000000>-(  0.001190)
--------------
723cffd4439723f9533c8e681a9202ca5836d3c5 released 0.0.4
--------------
classx            0.010000>-  0.000000>-  0.010000>-(  0.013143)
normal class      0.000000>-  0.000000>-  0.000000>-(  0.001428)
--------------
3e97a758c8f421b5089d44abe399ab328174afbb fixed revision.
--------------
classx            0.020000>-  0.000000>-  0.020000>-(  0.020661)
normal class      0.000000>-  0.000000>-  0.000000>-(  0.001759)

ベンチマークスクリプトは

require 'benchmark'
$LOAD_PATH.unshift(File.expand_path(File.join(File.dirname(__FILE__), '..', 'lib' )))
require 'classx'

class PointWithClassX
  include ClassX
  has :x
  has :y
  has :z
end

class PointWithoutClassX
  attr_reader :x, :y, :z

  def initialize hash
    @x = hash[:x]
    @y = hash[:y]
    @z = hash[:z]
  end
end

COUNT = 1000

point_with_classx = PointWithClassX.new({ :x => 0, :y => 0, :z => 0 })
point_without_classx = PointWithoutClassX.new({ :x => 0, :y => 0, :z => 0 })

def do_bench klass
  GC.disable
  COUNT.times do
    klass.__send__ :x
    klass.__send__ :y
    klass.__send__ :z
  end
  GC.enable
end

Benchmark.benchmark '', 16, "%10.6u\t%10.6y\t%10.6t\t%10.6r\n" do |x|
  x.report 'classx', "\t%t" do
    do_bench point_with_classx
  end
  x.report 'normal class', "\t%t" do
    do_bench point_without_classx
  end
end

__END__
--
  sha1: 0.0.7
--
  sha1: 0.0.6
--
  sha1: 0.0.5
--
  sha1: 0.0.4
--
  sha1: 3e97a758
--
  sha1: 83519953e
--
  sha1: 1f4c448b
--
  sha1: 283903a

こんな感じで、__END__以下に書いたところをYAMLでパースして、この順番にベンチマークを測定していくようになっている。

今困っているのが、CPUとメモリサイズでプラットフォーム互換で表示するうまい方法がわからないことだったりします。まぁ割合でみるべきだと思うので、そこまで重視する項目でもないかもですが、参考までに出すようにしたいなぁと思ったり。

rubyも1.8と1.9両方の結果を出せる方が望ましいですね。