LKNTが仮想マシンにメモリをどのように割り当てているのか調べました． 流れとしては，ゲスト作成時にメモリを確保，KVMに確保したメモリを伝える，ゲストが終了する際に確保していたメモリを開放という手順です． 今回はユーザ側のコードですが，いずれはKVMの内部でメモリがどのように扱われているのかも調べてみたいです．
ユーザインタフェース
|
1 |
$ ./kvm run -m 256 |
ユーザがゲストに割り当てるメモリのサイズを指定するにはコマンドライン引数を用います．
メモリ確保
|
1 |
static u64 ram_size; |
指定した値は，グローバル変数のram_sizeに格納されます．
build-run.c/int kvm_cmd_run
|
1 2 |
<span class="org-keyword">if</span> (<span class="org-negation-char">!</span>ram_size) ram_size = get_ram_size(nrcpus); |
コマンドライン引数で指定しなかった場合どうなるのでしょうか？ build-run.cの中でram_sizeに値が格納されているかどうかを確認し，格 納されていない場合はget_ram_size関数で割り当てるメモリサイズを算出 し，ram_sizeに格納します．
build-run.c
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
<span class="org-preprocessor">#define</span> <span class="org-variable-name">RAM_SIZE_RATIO</span> 0.8 <span class="org-keyword">static</span> <span class="org-type">u64</span> <span class="org-function-name">get_ram_size</span>(<span class="org-type">int</span> <span class="org-variable-name">nr_cpus</span>) { <span class="org-type">u64</span> <span class="org-variable-name">available</span>; <span class="org-type">u64</span> <span class="org-variable-name">ram_size</span>; ram_size = 64 * (nr_cpus + 3); available = host_ram_size() * RAM_SIZE_RATIO; <span class="org-keyword">if</span> (<span class="org-negation-char">!</span>available) available = MIN_RAM_SIZE_MB; <span class="org-keyword">if</span> (ram_size > available) ram_size = available; <span class="org-keyword">return</span> ram_size; } |
get_ram_sizeには使用可能なCPUコア数を渡しています．そして，コア数からメモリサイズを算出します． コア数が2なら，64x(2+3)=320MBとなるようです． ゲストに割り当てられるメモリサイズはマシン全体のメモリサイズにRAM_SIZE_RATIOを掛けたサイズとなります． 算出したメモリサイズが割り当てられる限界値を越えている場合，限界値に修正してram_sizeを返却します．
build.c/host_ram_size
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
<span class="org-keyword">static</span> <span class="org-type">u64</span> <span class="org-function-name">host_ram_size</span>(<span class="org-type">void</span>) { <span class="org-type">long</span> <span class="org-variable-name">page_size</span>; <span class="org-type">long</span> <span class="org-variable-name">nr_pages</span>; nr_pages = sysconf(_SC_PHYS_PAGES); <span class="org-keyword">if</span> (nr_pages < 0) { pr_warning(<span class="org-string">"sysconf(_SC_PHYS_PAGES) failed"</span>); <span class="org-keyword">return</span> 0; } page_size = sysconf(_SC_PAGE_SIZE); <span class="org-keyword">if</span> (page_size < 0) { pr_warning(<span class="org-string">"sysconf(_SC_PAGE_SIZE) failed"</span>); <span class="org-keyword">return</span> 0; } <span class="org-keyword">return</span> (nr_pages * page_size) >> MB_SHIFT; } |
get_ram_sizeの中で呼び出されているhost_ram_size関数はホストマシンのメモリサイズを調べる関数です． sysconf(_SC_PHYS_PAGES)で物理メモリのページ数を取得，sysconf(_SC_PAGE_SIZE)でページサイズをバイト単位で取得します． ページ数xページサイズ=メモリサイズ(バイト)となります． 最後に単位をメガバイトに変更して返却します． メガバイトに変換する時，右シフトを使っています．
build.c
|
1 |
#define MB_SHIFT (20) |
1メガバイト = 1048576バイトで，2進数にすると1048576 = 0b100000000000000000000となります． これを20ビット右シフトすると1になり，バイトからメガバイトへ変換ができるわけです．
build-run.c/int kvm_cmd_run
|
1 2 3 4 5 6 7 |
<span class="org-keyword">if</span> (ram_size < MIN_RAM_SIZE_MB) die(<span class="org-string">"Not enough memory specified: %lluMB (min %lluMB)"</span>, ram_size, MIN_RAM_SIZE_MB); <span class="org-keyword">if</span> (ram_size > host_ram_size()) pr_warning(<span class="org-string">"Guest memory size %lluMB exceeds host physical RAM size %lluMB"</span>, ram_size, host_ram_size()); ram_size <<= MB_SHIFT; |
ゲストに割り当てるメモリのサイズが最小サイズより大きいか，もしくはホストのメモリサイズより大きくなっていないか確認します． 問題なければ，ram_sizeをメガバイトからバイトに戻しています．
KVMへ確保したメモリを登録する
さて，kvmの初期化関数に移動しましょう．
builtin-run.c/kvm_cmd_run
|
1 |
kvm = kvm__init(dev, ram_size, guest_name); |
kvm_initは，さらにアーキテクチャ固有のinit関数を呼び出しています．
kvm.c/kvm__init
|
1 |
kvm__arch_init(kvm, kvm_dev, ram_size, name); |
x86/kvm.c
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 |
<span class="org-comment-delimiter">/* </span><span class="org-comment">Architecture-specific KVM init </span><span class="org-comment-delimiter">*/</span> <span class="org-type">void</span> <span class="org-function-name">kvm__arch_init</span>(<span class="org-keyword">struct</span> <span class="org-type">kvm</span> *<span class="org-variable-name">kvm</span>, <span class="org-keyword">const</span> <span class="org-type">char</span> *<span class="org-variable-name">kvm_dev</span>, <span class="org-type">u64</span> <span class="org-variable-name">ram_size</span>, <span class="org-keyword">const</span> <span class="org-type">char</span> *<span class="org-variable-name">name</span>) { <span class="org-keyword">struct</span> <span class="org-type">kvm_pit_config</span> <span class="org-variable-name">pit_config</span> = { .flags = 0, }; <span class="org-type">int</span> <span class="org-variable-name">ret</span>; ret = ioctl(kvm->vm_fd, KVM_SET_TSS_ADDR, 0xfffbd000); <span class="org-keyword">if</span> (ret < 0) die_perror(<span class="org-string">"KVM_SET_TSS_ADDR ioctl"</span>); ret = ioctl(kvm->vm_fd, KVM_CREATE_PIT2, &pit_config); <span class="org-keyword">if</span> (ret < 0) die_perror(<span class="org-string">"KVM_CREATE_PIT2 ioctl"</span>); kvm->ram_size = ram_size; <span class="org-keyword">if</span> (kvm->ram_size < KVM_32BIT_GAP_START) { kvm->ram_start = mmap(<span class="org-constant">NULL</span>, ram_size, PROT_RW, MAP_ANON_NORESERVE, -1, 0); } <span class="org-keyword">else</span> { kvm->ram_start = mmap(<span class="org-constant">NULL</span>, ram_size + KVM_32BIT_GAP_SIZE, PROT_RW, MAP_ANON_NORESERVE, -1, 0); <span class="org-keyword">if</span> (kvm->ram_start != MAP_FAILED) { <span class="org-comment-delimiter">/*</span> <span class="org-comment"> * We mprotect the gap (see kvm__init_ram() for details) PROT_NONE so that</span> <span class="org-comment"> * if we accidently write to it, we will know.</span> <span class="org-comment-delimiter">*/</span> mprotect(kvm->ram_start + KVM_32BIT_GAP_START, KVM_32BIT_GAP_SIZE, PROT_NONE); } } <span class="org-keyword">if</span> (kvm->ram_start == MAP_FAILED) die(<span class="org-string">"out of memory"</span>); madvise(kvm->ram_start, kvm->ram_size, MADV_MERGEABLE); ret = ioctl(kvm->vm_fd, KVM_CREATE_IRQCHIP); <span class="org-keyword">if</span> (ret < 0) die_perror(<span class="org-string">"KVM_CREATE_IRQCHIP ioctl"</span>); } |
kvm->ram_sizeにコマンドライン引数から取得した/自動生成したメモリサイズを格納します． ここで，32bitのギャップについてチェックしています．
|
1 2 |
#define KVM_32BIT_GAP_START ((1ULL << 32) - KVM_32BIT_GAP_SIZE) #define KVM_32BIT_GAP_SIZE (768 << 20) |
KVM_32BIT_GAP_SIZEは (768<<20) = 805306368 = 768MB． KVM_32BIT_GAP_STARTは ((1ULL << 32) – KVM_32BIT_GAP_SIZE) = (4294967296 – 768MB) = (4096MB -768MB) = 3328MB．
指定したram_sizeが3328MBより小さい場合，そのサイズをmmapで確保します． ram_sizeが3328MB以上の場合，ram_size+768MBをmmapでマッピングします． メモリのマップに成功した場合，mprotectを使ってkvm->ram_start + KVM_32BIT_GAP_START〜KVM_32BIT_GAP_SIZEのメモリ範囲のアクセス保護を設定しています． PROT_NOTEは，メモリに全くアクセスできない設定となります． メモリのマップに失敗した場合はdieです．
madviceはメモリの利用に関するアドバイスを設定する関数です． kvm->ram_startからkvm->ram_sizeの範囲について，MADV_MERGEABLEに設定しています．MADV_MERGEABLEは，ユーザがマージしてもよいという設定です．
メモリの設定
build-run.cでしばらく先にあるkvm__init_ramでメモリ設定を行います．
builtin-run.c
|
1 |
kvm__init_ram(kvm); |
x86/kvm.c
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
<span class="org-type">void</span> <span class="org-function-name">kvm__init_ram</span>(<span class="org-keyword">struct</span> <span class="org-type">kvm</span> *<span class="org-variable-name">kvm</span>) { <span class="org-type">u64</span> <span class="org-variable-name">phys_start</span>, <span class="org-variable-name">phys_size</span>; <span class="org-type">void</span> *<span class="org-variable-name">host_mem</span>; <span class="org-keyword">if</span> (kvm->ram_size < KVM_32BIT_GAP_START) { <span class="org-comment-delimiter">/* </span><span class="org-comment">Use a single block of RAM for 32bit RAM </span><span class="org-comment-delimiter">*/</span> phys_start = 0; phys_size = kvm->ram_size; host_mem = kvm->ram_start; kvm__register_mem(kvm, phys_start, phys_size, host_mem); } <span class="org-keyword">else</span> { <span class="org-comment-delimiter">/* </span><span class="org-comment">First RAM range from zero to the PCI gap: </span><span class="org-comment-delimiter">*/</span> phys_start = 0; phys_size = KVM_32BIT_GAP_START; host_mem = kvm->ram_start; kvm__register_mem(kvm, phys_start, phys_size, host_mem); <span class="org-comment-delimiter">/* </span><span class="org-comment">Second RAM range from 4GB to the end of RAM: </span><span class="org-comment-delimiter">*/</span> phys_start = 0x100000000ULL; phys_size = kvm->ram_size - phys_size; host_mem = kvm->ram_start + phys_start; kvm__register_mem(kvm, phys_start, phys_size, host_mem); } } |
ここでも32ビットギャップを調べて，結果によって挙動を変えています． メモリサイズが3328MBより小さい場合，ゲストに設定する仮想メモリのサイズにkvm->ram_sizeを，ホストメモリの開始位置にkvm->ram_startを格納し，kvm__register_memを呼び出してVMのメモリの設定を行います．
3328MB以上の場合，仮想メモリのサイズに3328MBを設定してVMのメモリ設定を行い， その後，残りのサイズを再びVMに設定しています．
/kvm.c
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
*/ <span class="org-type">void</span> kvm__register_mem(<span class="org-keyword">struct</span> <span class="org-type">kvm</span> *<span class="org-variable-name">kvm</span>, <span class="org-type">u64</span> <span class="org-variable-name">guest_phys</span>, <span class="org-type">u64</span> <span class="org-variable-name">size</span>, <span class="org-type">void</span> *<span class="org-variable-name">userspace_addr</span>) { <span class="org-keyword">struct</span> <span class="org-type">kvm_userspace_memory_region</span> <span class="org-variable-name">mem</span>; <span class="org-type">int</span> <span class="org-variable-name">ret</span>; mem = (<span class="org-keyword">struct</span> <span class="org-type">kvm_userspace_memory_region</span>) { .slot = kvm->mem_slots++, .guest_phys_addr = guest_phys, .memory_size = size, .userspace_addr = (<span class="org-type">unsigned</span> <span class="org-type">long</span>)userspace_addr, }; ret = ioctl(kvm->vm_fd, KVM_SET_USER_MEMORY_REGION, &mem); <span class="org-keyword">if</span> (ret < 0) die_perror(<span class="org-string">"KVM_SET_USER_MEMORY_REGION ioctl"</span>); } |
ioctlのKVM_SET_USER_MEMORY_REGIONを使い，VMにメモリの変更を許可します．
KVM_SET_USER_MEMORY_REGIONはKVMのAPIです． mem_slotsがマザーボードのメモリスロットに対応するようです． 3328MB以上のメモリを扱う場合は，複数スロットに分割するわけですね． これで，VMがメモリを使えるようになります．
メモリの開放
VMを終了するときにメモリを開放する必要があります．kvm__deleteの中で開放されています．
builtin-run.c
|
1 |
kvm__delete(kvm); |
kvm.c
|
1 2 3 4 5 6 7 8 9 |
<span class="org-type">void</span> <span class="org-function-name">kvm__delete</span>(<span class="org-keyword">struct</span> <span class="org-type">kvm</span> *<span class="org-variable-name">kvm</span>) { kvm__stop_timer(kvm); munmap(kvm->ram_start, kvm->ram_size); kvm_ipc__stop(); kvm__remove_socket(kvm->name); free(kvm); } |
munmapを使い，指定したアドレス範囲のマップを消去するだけのようです．