NeboAI
NeboAI
Mulakan

Sidecar Aplikasi

Sidecar ialah binari yang berjalan di sebelah aplikasi. Ia menyajikan API halaman, menyimpan data aplikasi dan memberi alat kepada pekerja aplikasi. Nebo memulakannya, menghalakan permintaan kepadanya melalui soket setempat dan memulakannya semula apabila ia gagal.

Kontrak

Sidecar ialah pelayan gRPC pada soket Unix. Dengar pada laluan dalam NEBO_APP_SOCK dan laksanakan apps.v0.UIService. Nebo memanggil HandleRequest untuk setiap permintaan; HealthCheck dan Configure ialah sebahagian daripada perkhidmatan tetapi tidak dipanggil buat masa ini. Soket mesti muncul dalam tempoh startup_timeout manifes, yang lalainya 10 saat dan paling lama 120.

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

Sidecar berjalan pada macOS dan Linux.

Di mana Nebo mencari binari

Dalam folder aplikasi, Nebo menggunakan yang pertama wujud daripada yang berikut:

  1. Fail bernama binary
  2. Fail bernama app
  3. Fail pertama dalam tmp/
  4. Fail pertama dalam bin/
  5. Fail boleh laku pertama dalam sidecar/target/release/, untuk pembangunan setempat

Binari mestilah fail biasa yang boleh dilaksanakan, bukan pautan simbolik, dan paling besar 500 MB. Aplikasi yang diterbitkan membawanya di bin/<name>. Apabila fail berubah pada cakera, Nebo memulakan semula sidecar.

Persekitaran

Sidecar bermula dengan persekitaran kosong dan pemboleh ubah berikut:

Pemboleh ubahNilai
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONIdentiti aplikasi.
NEBO_APP_DIRFolder aplikasi.
NEBO_APP_SOCKSoket untuk didengar, <app folder>/<id>.sock. Nebo menetapkan modnya kepada 0600.
NEBO_DATA_DIRFolder data aplikasi, <data>/appdata/agents/<id>/. Juga direktori kerja.
NEBO_API_URLAPI setempat bot, http://127.0.0.1:<port>.
NEBO_APP_TOKENToken untuk memanggil API aplikasi bot.
PATH, HOME, TMPDIR, LANG, LC_ALL, TZDiteruskan.

Output standard dan ralat standard pergi ke sidecar.log dalam folder data. Input standard ialah paip; penghujung fail bermaksud Nebo telah tiada dan sidecar patut keluar. Sidecar berjalan dalam kumpulan prosesnya sendiri.

Permintaan daripada halaman

Permintaan ke /apps/<id>/api/<path>, yang dibuat oleh halaman dengan neboFetch dan laluan relatif, sampai ke HandleRequest dengan path ditetapkan kepada <path>. Laluan yang bermula dengan _ ditolak. Badan permintaan dihadkan kepada 10 MB dan respons kepada 32 MB.

Alat untuk pekerja

Isytiharkan alat dalam agent.json aplikasi. Setiap satu menjadi alat bernama app__<app>__<name>, dimuatkan apabila pekerja memerlukannya. Panggilan menjadi permintaan kepada sidecar di method dan path.

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

Memanggil Nebo

Sidecar boleh menggunakan perkhidmatan yang sama seperti halaman dengan memanggil $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... dengan pengepala Authorization: Bearer $NEBO_APP_TOKEN.

LaluanMelakukan
GET /storage, GET|PUT|DELETE /storage/<key>Stor kunci-nilai aplikasi.
POST /agents/invoke, POST /agents/streamBertanya kepada pekerja: {message, agent, data}. Respons strim ialah peristiwa yang dihantar pelayan.
POST /janus/complete, POST /janus/streamPanggilan model terus: {messages, model, temperature, max_tokens, system}.
POST /http/proxyPermintaan luar, {url, method, headers, body}, yang dibenarkan oleh kebenaran network: aplikasi.
GET /identityPekerja aplikasi.

Kitaran hayat

  • Nebo menguji soket setiap tiga saat.
  • Sidecar yang gagal dimulakan semula selepas satu saat, digandakan sehingga paling lama 60 saat. Selepas lima kegagalan berturut-turut ia ditanda sebagai gagal. Sidecar yang kekal berjalan selama 60 saat dianggap sihat semula.
  • Permintaan kepada sidecar yang terhenti akan memulakannya dan menunggu sehingga 15 saat. Permintaan GET dan HEAD dicuba semula.
  • Untuk menghentikan sidecar, Nebo menghantar SIGTERM kepada kumpulan prosesnya, kemudian membunuhnya selepas dua saat.