Reverse Engineering Custom VM Bytecode Architecture

CTF Event: Compfest CTF 2025

Reverse EngineeringCompfest CTF 2025

October 10, 2026

Reverse Engineering Custom VM Bytecode Architecture

Analisis arsitektur Virtual Machine kustom dengan 16 register dan 24 instruksi opcode untuk membangun disassembler mandiri dan mendekripsi alur validasi lisensi.

#Reverse#Virtual Machine#Disassembler#Bytecode#Ghidra

Challenge Analysis & Exploitation Methodology

Analisis Struktur Mesin Virtual

Biner utama bertindak sebagai interpreter virtual machine yang mengeksekusi bytecode terenkripsi.

Struktur status VM tersimpan dalam struct:


C
1struct VMState {
2    uint64_t registers[16];
3    uint64_t pc;
4    uint64_t sp;
5    uint8_t flags;
6    uint8_t memory[0x10000];
7};

Membangun Custom Disassembler

Dengan script Python disassembler, seluruh stream bytecode diubah menjadi instruksi assembly:


PYTHON
1import sys
2
3opcodes = {
4    0x10: ("MOV", 2),
5    0x15: ("LOAD", 2),
6    0x20: ("XOR", 2),
7    0x25: ("ADD", 2),
8    0x30: ("CMP", 2),
9    0x35: ("JZ", 1),
10}

Dengan membalik operasi XOR dan konstanta S-Box, karakter kunci valid berhasil dipulihkan.

Reverse Engineering Custom VM Bytecode Architecture

CTF Event: Compfest CTF 2025

Back to Writeups

Reverse EngineeringCompfest CTF 2025

October 10, 2026

Reverse Engineering Custom VM Bytecode Architecture

Analisis arsitektur Virtual Machine kustom dengan 16 register dan 24 instruksi opcode untuk membangun disassembler mandiri dan mendekripsi alur validasi lisensi.

#Reverse#Virtual Machine#Disassembler#Bytecode#Ghidra

Challenge Analysis & Exploitation Methodology

Analisis Struktur Mesin Virtual

Biner utama bertindak sebagai interpreter virtual machine yang mengeksekusi bytecode terenkripsi.

Struktur status VM tersimpan dalam struct:


C
1struct VMState {
2    uint64_t registers[16];
3    uint64_t pc;
4    uint64_t sp;
5    uint8_t flags;
6    uint8_t memory[0x10000];
7};

Membangun Custom Disassembler

Dengan script Python disassembler, seluruh stream bytecode diubah menjadi instruksi assembly:


PYTHON
1import sys
2
3opcodes = {
4    0x10: ("MOV", 2),
5    0x15: ("LOAD", 2),
6    0x20: ("XOR", 2),
7    0x25: ("ADD", 2),
8    0x30: ("CMP", 2),
9    0x35: ("JZ", 1),
10}

Dengan membalik operasi XOR dan konstanta S-Box, karakter kunci valid berhasil dipulihkan.