NeboAI
NeboAI
Anza

Sidecar ya Programu

Sidecar ni binary inayoendeshwa kando ya programu. Hutoa API ya ukurasa, huhifadhi data ya programu, na humpa mfanyakazi wa programu zana. Nebo huianzisha, huelekeza maombi kwake kupitia socket ya ndani, na huianzisha upya inaposhindwa.

Mkataba

Sidecar ni seva ya gRPC kwenye Unix socket. Sikiliza kwenye njia iliyo katika NEBO_APP_SOCK na utekeleze apps.v0.UIService. Nebo huita HandleRequest kwa kila ombi; HealthCheck na Configure ni sehemu ya huduma lakini haziitwi leo. Socket lazima ionekane ndani ya startup_timeout ya manifest, ambayo kwa chaguo-msingi ni sekunde 10 na inaweza kuwa upeo wa 120.

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

Sidecars huendeshwa kwenye macOS na Linux.

Mahali Nebo inapopata binary

Katika folda ya programu, Nebo hutumia ya kwanza kati ya hizi iliyopo:

  1. Faili inayoitwa binary
  2. Faili inayoitwa app
  3. Faili ya kwanza katika tmp/
  4. Faili ya kwanza katika bin/
  5. Faili tekelezi ya kwanza katika sidecar/target/release/, kwa uundaji wa ndani

Binary lazima iwe faili ya kawaida inayotekelezeka, si symbolic link, na upeo wa 500 MB. Programu zilizochapishwa huibeba kwenye bin/<name>. Faili inapobadilika kwenye diski, Nebo huanzisha upya sidecar.

Mazingira

Sidecar huanza na mazingira matupu na vigezo hivi:

KigezoThamani
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONUtambulisho wa programu.
NEBO_APP_DIRFolda ya programu.
NEBO_APP_SOCKSocket ya kusikiliza, <app folder>/<id>.sock. Nebo huweka hali yake kuwa 0600.
NEBO_DATA_DIRFolda ya data ya programu, <data>/appdata/agents/<id>/. Pia ni saraka ya kazi.
NEBO_API_URLAPI ya ndani ya boti, http://127.0.0.1:<port>.
NEBO_APP_TOKENTokeni ya kuita API ya programu ya boti.
PATH, HOME, TMPDIR, LANG, LC_ALL, TZInapitishwa.

Matokeo ya kawaida na hitilafu za kawaida huenda kwa sidecar.log katika folda ya data. Ingizo la kawaida ni pipe; mwisho wa faili humaanisha Nebo imeondoka na sidecar inapaswa kujifunga. Sidecar huendeshwa katika kikundi chake cha michakato.

Maombi kutoka kwa ukurasa

Ombi kwa /apps/<id>/api/<path>, ambalo ukurasa hufanya kwa neboFetch na njia ya jamaa, hufika HandleRequest huku path ikiwa <path>. Njia zinazoanza na _ hukataliwa. Viini vya maombi vina kikomo cha 10 MB na majibu 32 MB.

Zana kwa mfanyakazi

Tangaza zana katika agent.json ya programu. Kila moja inakuwa zana inayoitwa app__<app>__<name>, inayopakiwa mfanyakazi anapoihitaji. Wito unakuwa ombi kwa sidecar kwenye method na path.

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

Kuita Nebo

Sidecar inaweza kutumia huduma zile zile kama ukurasa kwa kuita $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... pamoja na kichwa Authorization: Bearer $NEBO_APP_TOKEN.

NjiaInafanya
GET /storage, GET|PUT|DELETE /storage/<key>Hifadhi ya key-value ya programu.
POST /agents/invoke, POST /agents/streamHumuuliza mfanyakazi: {message, agent, data}. Majibu ya mkondo ni server-sent events.
POST /janus/complete, POST /janus/streamWito wa moja kwa moja kwa muundo: {messages, model, temperature, max_tokens, system}.
POST /http/proxyOmbi la nje, {url, method, headers, body}, linaloruhusiwa na ruhusa za network: za programu.
GET /identityMfanyakazi wa programu.

Mzunguko wa maisha

  • Nebo hupima socket kila sekunde tatu.
  • Sidecar iliyoshindwa huanzishwa upya baada ya sekunde moja, ikiongezeka maradufu hadi upeo wa sekunde 60. Baada ya kushindwa mara tano mfululizo huwekewa alama ya kushindwa. Sidecar inayodumu kwa sekunde 60 inakuwa na afya tena.
  • Ombi kwa sidecar iliyosimamishwa huianzisha na husubiri hadi sekunde 15. Maombi ya GET na HEAD hujaribiwa tena.
  • Ili kusimamisha sidecar, Nebo hutuma SIGTERM kwa kikundi chake cha michakato, kisha huiua baada ya sekunde mbili.