sandbench

Basic benchmarks to compare performance (start up time) of sandboxed code execution providers. Just Daytona and Modal for now.

> summarize select running_time_ms from results where provider = 'daytona';
┌─────────────────┬─────────────┬─────────┬─────────┬───────────────┬─────────┬───────────────────┬─────────┬─────────┬─────────┬───────┬─────────────────┐
│   column_name   │ column_type │   min   │   max   │ approx_unique │   avg   │        std        │   q25   │   q50   │   q75   │ count │ null_percentage │
│     varchar     │   varchar   │ varchar │ varchar │     int64     │ varchar │      varchar      │ varchar │ varchar │ varchar │ int64 │  decimal(9,2)   │
├─────────────────┼─────────────┼─────────┼─────────┼───────────────┼─────────┼───────────────────┼─────────┼─────────┼─────────┼───────┼─────────────────┤
│ running_time_ms │ INTEGER     │ 852     │ 2418    │      91       │ 1115.55 │ 262.2702891016337 │ 986     │ 1044    │ 1136    │  100  │      0.00       │
└─────────────────┴─────────────┴─────────┴─────────┴───────────────┴─────────┴───────────────────┴─────────┴─────────┴─────────┴───────┴─────────────────┘

> summarize select running_time_ms from results where provider = 'modal';
┌─────────────────┬─────────────┬─────────┬─────────┬───────────────┬─────────┬───────────────────┬─────────┬─────────┬─────────┬───────┬─────────────────┐
│   column_name   │ column_type │   min   │   max   │ approx_unique │   avg   │        std        │   q25   │   q50   │   q75   │ count │ null_percentage │
│     varchar     │   varchar   │ varchar │ varchar │     int64     │ varchar │      varchar      │ varchar │ varchar │ varchar │ int64 │  decimal(9,2)   │
├─────────────────┼─────────────┼─────────┼─────────┼───────────────┼─────────┼───────────────────┼─────────┼─────────┼─────────┼───────┼─────────────────┤
│ running_time_ms │ INTEGER     │ 912     │ 2468    │      93       │ 1477.66 │ 334.4546056377804 │ 1224    │ 1439    │ 1696    │  100  │      0.00       │
└─────────────────┴─────────────┴─────────┴─────────┴───────────────┴─────────┴───────────────────┴─────────┴─────────┴─────────┴───────┴─────────────────┘

Running

To install dependencies:

bun install

To run:

bun run index.ts