စာချုပ်
Sidecar သည် Unix socket ပေါ်ရှိ gRPC ဆာဗာ ဖြစ်သည်။ NEBO_APP_SOCK ရှိ path ပေါ်တွင် နားထောင်ပြီး apps.v0.UIService ကို အကောင်အထည်ဖော်ပါ။ Nebo က တောင်းဆိုချက်တိုင်းအတွက် HandleRequest ကို ခေါ်ပါသည်။ HealthCheck နှင့် Configure သည် ဝန်ဆောင်မှု၏ အစိတ်အပိုင်း ဖြစ်သော်လည်း ယနေ့ မခေါ်ပါ။ socket သည် manifest ၏ startup_timeout အတွင်း ပေါ်လာရပါမည်၊ ၎င်း၏ ပုံသေမှာ 10 စက္ကန့် ဖြစ်ပြီး အများဆုံး 120 ဖြစ်နိုင်သည်။
syntax = "proto3";
package apps.v0;
service UIService {
rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
rpc Configure(SettingsMap) returns (Empty);
rpc HandleRequest(HttpRequest) returns (HttpResponse);
}
message HttpRequest {
string method = 1; // GET, POST, PUT, DELETE, ...
string path = 2; // relative to /apps/{id}/api/
string query = 3; // raw query string
map<string, string> headers = 4;
bytes body = 5;
}
message HttpResponse {
int32 status_code = 1;
map<string, string> headers = 2;
bytes body = 3;
} Sidecar များသည် macOS နှင့် Linux တွင် လည်ပတ်ပါသည်။
Nebo က binary ကို ရှာပုံ
အက်ပ်၏ ဖိုလ်ဒါထဲတွင် Nebo သည် အောက်ပါတို့အနက် ပထမဆုံး ရှိသည့်အရာကို အသုံးပြုပါသည်-
binaryအမည်ရှိ ဖိုင်appအမည်ရှိ ဖိုင်tmp/ထဲရှိ ပထမဆုံး ဖိုင်bin/ထဲရှိ ပထမဆုံး ဖိုင်- စက်တွင်း ဖွံ့ဖြိုးရေးအတွက်
sidecar/target/release/ထဲရှိ ပထမဆုံး executable
binary သည် symbolic link မဟုတ်ဘဲ ပုံမှန် executable ဖိုင် ဖြစ်ရမည်ဖြစ်ပြီး အများဆုံး 500 MB ဖြစ်ရပါမည်။ ထုတ်ဝေထားသော အက်ပ်များတွင် ၎င်းကို bin/<name> တွင် ထားပါသည်။ disk ပေါ်ရှိ ဖိုင် ပြောင်းလဲသည့်အခါ Nebo က sidecar ကို ပြန်စပါသည်။
Environment
sidecar သည် ဗလာ environment နှင့် အောက်ပါ variable များဖြင့် စတင်ပါသည်-
| Variable | တန်ဖိုး |
|---|---|
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSION | အက်ပ်၏ ကိုယ်ပိုင်အမှတ်အသား။ |
NEBO_APP_DIR | အက်ပ်၏ ဖိုလ်ဒါ။ |
NEBO_APP_SOCK | နားထောင်ရမည့် socket၊ <app folder>/<id>.sock။ Nebo က ၎င်း၏ mode ကို 0600 သတ်မှတ်သည်။ |
NEBO_DATA_DIR | အက်ပ်၏ ဒေတာ ဖိုလ်ဒါ၊ <data>/appdata/agents/<id>/။ working directory လည်း ဖြစ်သည်။ |
NEBO_API_URL | bot ၏ local API၊ http://127.0.0.1:<port>။ |
NEBO_APP_TOKEN | bot ၏ app API ကို ခေါ်ရန် token။ |
PATH, HOME, TMPDIR, LANG, LC_ALL, TZ | တိုက်ရိုက် ဖြတ်သန်းပေးသည်။ |
Standard output နှင့် standard error သည် ဒေတာ ဖိုလ်ဒါရှိ sidecar.log သို့ သွားပါသည်။ Standard input သည် pipe ဖြစ်ပြီး end of file သည် Nebo ထွက်သွားပြီဖြစ်ကာ sidecar ထွက်သင့်ကြောင်း ဆိုလိုပါသည်။ sidecar သည် ၎င်း၏ ကိုယ်ပိုင် process group တွင် လည်ပတ်ပါသည်။
စာမျက်နှာမှ တောင်းဆိုချက်များ
စာမျက်နှာက neboFetch နှင့် relative path ဖြင့် ပြုလုပ်သော /apps/<id>/api/<path> သို့ တောင်းဆိုချက်သည် path ကို <path> အဖြစ် သတ်မှတ်ထားလျက် HandleRequest သို့ ရောက်ပါသည်။ _ ဖြင့် စသော path များကို ငြင်းပယ်ပါသည်။ တောင်းဆိုချက် ကိုယ်ထည်များကို 10 MB နှင့် တုံ့ပြန်ချက်များကို 32 MB ဖြင့် ကန့်သတ်ထားပါသည်။
ဝန်ထမ်းအတွက် ကိရိယာများ
ကိရိယာများကို အက်ပ်၏ agent.json တွင် ကြေညာပါ။ တစ်ခုစီသည် ဝန်ထမ်း လိုအပ်သည့်အခါ load လုပ်သော app__<app>__<name> အမည်ရှိ ကိရိယာ ဖြစ်လာပါသည်။ ခေါ်ဆိုမှုတစ်ခုသည် sidecar ၏ method နှင့် path သို့ တောင်းဆိုချက် ဖြစ်လာပါသည်။
"tools": [
{
"name": "list_deals",
"description": "List open deals, optionally filtered by stage.",
"method": "GET",
"path": "/deals",
"input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
}
] Nebo ကို ခေါ်ခြင်း
sidecar သည် Authorization: Bearer $NEBO_APP_TOKEN header ဖြင့် $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... ကို ခေါ်၍ စာမျက်နှာနှင့် တူညီသော ဝန်ဆောင်မှုများကို အသုံးပြုနိုင်ပါသည်။
| Route | လုပ်ဆောင်ပုံ |
|---|---|
GET /storage, GET|PUT|DELETE /storage/<key> | အက်ပ်၏ key-value store။ |
POST /agents/invoke, POST /agents/stream | ဝန်ထမ်းကို မေးသည်- {message, agent, data}။ Stream တုံ့ပြန်ချက်များသည် server-sent event များ ဖြစ်သည်။ |
POST /janus/complete, POST /janus/stream | မော်ဒယ်ကို တိုက်ရိုက် ခေါ်ဆိုမှု- {messages, model, temperature, max_tokens, system}။ |
POST /http/proxy | အက်ပ်၏ network: ခွင့်ပြုချက်များက ခွင့်ပြုထားသော ပြင်ပ တောင်းဆိုချက်၊ {url, method, headers, body}။ |
GET /identity | အက်ပ်၏ ဝန်ထမ်း။ |
Lifecycle
- Nebo က socket ကို သုံးစက္ကန့်တိုင်း စစ်ဆေးပါသည်။
- မအောင်မြင်သော sidecar သည် တစ်စက္ကန့်အကြာတွင် ပြန်စပြီး အများဆုံး 60 စက္ကန့်အထိ နှစ်ဆတိုးသွားပါသည်။ ဆက်တိုက် မအောင်မြင်မှု ငါးကြိမ်ပြီးနောက် ၎င်းကို မအောင်မြင်ဟု အမှတ်အသားပြုပါသည်။ 60 စက္ကန့် ဆက်လက်လည်ပတ်နေသော sidecar သည် ပြန်လည် ကျန်းမာပါသည်။
- ရပ်ထားသော sidecar သို့ တောင်းဆိုချက်က ၎င်းကို စတင်ပြီး 15 စက္ကန့်အထိ စောင့်ပါသည်။ GET နှင့် HEAD တောင်းဆိုချက်များကို ပြန်ကြိုးစားပါသည်။
- sidecar ကို ရပ်ရန် Nebo က ၎င်း၏ process group သို့ SIGTERM ပို့ပြီး နှစ်စက္ကန့်အကြာတွင် kill လုပ်ပါသည်။