NeboAI
NeboAI
Aloita

Sovelluksen sivuvaunu

Sivuvaunu on binääri, joka toimii sovelluksen rinnalla. Se tarjoaa sivun API:n, säilyttää sovelluksen datan ja antaa sovelluksen työntekijälle työkaluja. Nebo käynnistää sen, reitittää pyynnöt sille paikallisen socketin kautta ja käynnistää sen uudelleen, kun se kaatuu.

Sopimus

Sivuvaunu on gRPC-palvelin Unix-socketissa. Kuuntele muuttujan NEBO_APP_SOCK polkua ja toteuta apps.v0.UIService. Nebo kutsuu HandleRequest-metodia jokaisesta pyynnöstä; HealthCheck ja Configure kuuluvat palveluun, mutta niitä ei tällä hetkellä kutsuta. Socketin on ilmestyttävä manifestin startup_timeout-ajan kuluessa, joka on oletuksena 10 sekuntia ja enintään 120.

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

Sivuvaunut toimivat macOS:ssä ja Linuxissa.

Mistä Nebo löytää binäärin

Sovelluksen kansiosta Nebo käyttää ensimmäistä näistä, joka on olemassa:

  1. Tiedosto nimeltä binary
  2. Tiedosto nimeltä app
  3. Ensimmäinen tiedosto hakemistossa tmp/
  4. Ensimmäinen tiedosto hakemistossa bin/
  5. Ensimmäinen suoritettava tiedosto hakemistossa sidecar/target/release/ paikallista kehitystä varten

Binäärin on oltava tavallinen, suoritettava tiedosto, ei symbolinen linkki, ja enintään 500 MB. Julkaistuissa sovelluksissa se on polussa bin/<name>. Kun tiedosto muuttuu levyllä, Nebo käynnistää sivuvaunun uudelleen.

Ympäristö

Sivuvaunu käynnistyy tyhjällä ympäristöllä ja näillä muuttujilla:

MuuttujaArvo
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONSovelluksen identiteetti.
NEBO_APP_DIRSovelluksen kansio.
NEBO_APP_SOCKKuunneltava socket, <app folder>/<id>.sock. Nebo asettaa sen tilaksi 0600.
NEBO_DATA_DIRSovelluksen datakansio, <data>/appdata/agents/<id>/. Myös työhakemisto.
NEBO_API_URLBotin paikallinen API, http://127.0.0.1:<port>.
NEBO_APP_TOKENTunnus botin sovellus-API:n kutsumiseen.
PATH, HOME, TMPDIR, LANG, LC_ALL, TZVälitetään sellaisenaan.

Vakiotuloste ja vakiovirhetuloste menevät tiedostoon sidecar.log datakansiossa. Vakiosyöte on putki; tiedoston loppu tarkoittaa, että Nebo on poistunut ja sivuvaunun pitäisi lopettaa. Sivuvaunu toimii omassa prosessiryhmässään.

Sivun pyynnöt

Pyyntö osoitteeseen /apps/<id>/api/<path>, jonka sivu tekee neboFetch-kutsulla ja suhteellisella polulla, saapuu HandleRequest-metodiin niin, että path on <path>. Merkillä _ alkavat polut hylätään. Pyyntöjen rungot on rajattu 10 MB:iin ja vastaukset 32 MB:iin.

Työkalut työntekijälle

Ilmoita työkalut sovelluksen tiedostossa agent.json. Jokaisesta tulee työkalu nimeltä app__<app>__<name>, joka ladataan, kun työntekijä tarvitsee sitä. Kutsusta tulee pyyntö sivuvaunuun osoitteeseen method ja path.

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

Neboon kutsuminen

Sivuvaunu voi käyttää samoja palveluja kuin sivu kutsumalla $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... otsakkeella Authorization: Bearer $NEBO_APP_TOKEN.

ReittiTekee
GET /storage, GET|PUT|DELETE /storage/<key>Sovelluksen avain-arvo-tallennus.
POST /agents/invoke, POST /agents/streamKysyy työntekijältä: {message, agent, data}. Suoratoistovastaukset ovat server-sent events -tapahtumia.
POST /janus/complete, POST /janus/streamSuora mallikutsu: {messages, model, temperature, max_tokens, system}.
POST /http/proxyUlkoinen pyyntö, {url, method, headers, body}, sovelluksen network:-lupien sallimana.
GET /identitySovelluksen työntekijä.

Elinkaari

  • Nebo tarkistaa socketin kolmen sekunnin välein.
  • Kaatunut sivuvaunu käynnistyy uudelleen sekunnin kuluttua, ja viive kaksinkertaistuu enintään 60 sekuntiin. Viiden peräkkäisen epäonnistumisen jälkeen se merkitään epäonnistuneeksi. Sivuvaunu, joka pysyy käynnissä 60 sekuntia, on taas kunnossa.
  • Pyyntö pysäytetylle sivuvaunulle käynnistää sen ja odottaa enintään 15 sekuntia. GET- ja HEAD-pyynnöt yritetään uudelleen.
  • Sivuvaunun pysäyttämiseksi Nebo lähettää SIGTERM-signaalin sen prosessiryhmälle ja lopettaa sen pakolla kahden sekunnin kuluttua.