NeboAI
NeboAI
શરૂ કરો

App Sidecar

Sidecar એ ઍપની બાજુમાં ચાલતી બાઇનરી છે. તે પેજનું API આપે છે, ઍપનો ડેટા રાખે છે, અને ઍપના કર્મચારીને સાધનો આપે છે. Nebo તેને શરૂ કરે છે, સ્થાનિક સૉકેટ પર વિનંતીઓ તેના સુધી રૂટ કરે છે, અને તે નિષ્ફળ જાય ત્યારે ફરી શરૂ કરે છે.

કરાર

Sidecar એ Unix સૉકેટ પરનું gRPC સર્વર છે. NEBO_APP_SOCK માંના પાથ પર સાંભળો અને apps.v0.UIService અમલમાં મૂકો. Nebo દરેક વિનંતી માટે HandleRequest કૉલ કરે છે; HealthCheck અને Configure સેવાનો ભાગ છે પણ આજે કૉલ થતાં નથી. સૉકેટ મેનિફેસ્ટના startup_timeout માં દેખાવું જોઈએ, જે ડિફૉલ્ટ રૂપે 10 સેકન્ડ છે અને વધુમાં વધુ 120 હોઈ શકે છે.

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

Sidecar macOS અને Linux પર ચાલે છે.

Nebo બાઇનરી ક્યાં શોધે છે

ઍપના ફોલ્ડરમાં, Nebo આમાંથી અસ્તિત્વ ધરાવતી પહેલી વસ્તુ વાપરે છે:

  1. binary નામની ફાઇલ
  2. app નામની ફાઇલ
  3. tmp/ માંની પહેલી ફાઇલ
  4. bin/ માંની પહેલી ફાઇલ
  5. સ્થાનિક ડેવલપમેન્ટ માટે, sidecar/target/release/ માંની પહેલી એક્ઝિક્યુટેબલ

બાઇનરી સામાન્ય, એક્ઝિક્યુટેબલ ફાઇલ હોવી જોઈએ, સિમ્બોલિક લિંક નહીં, અને વધુમાં વધુ 500 MB. પ્રકાશિત ઍપ્સ તેને bin/<name> પર રાખે છે. ડિસ્ક પર ફાઇલ બદલાય ત્યારે, Nebo sidecar ફરી શરૂ કરે છે.

એન્વાયર્નમેન્ટ

Sidecar ખાલી એન્વાયર્નમેન્ટ અને આ વેરિએબલ સાથે શરૂ થાય છે:

વેરિએબલમૂલ્ય
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONઍપની ઓળખ.
NEBO_APP_DIRઍપનું ફોલ્ડર.
NEBO_APP_SOCKસાંભળવાનું સૉકેટ, <app folder>/<id>.sock. Nebo તેનો મોડ 0600 પર સેટ કરે છે.
NEBO_DATA_DIRઍપનું ડેટા ફોલ્ડર, <data>/appdata/agents/<id>/. આ જ કાર્યકારી ડિરેક્ટરી પણ છે.
NEBO_API_URLબૉટનું સ્થાનિક API, http://127.0.0.1:<port>.
NEBO_APP_TOKENબૉટના ઍપ API ને કૉલ કરવા માટેનું ટોકન.
PATH, HOME, TMPDIR, LANG, LC_ALL, TZજેમનું તેમ આગળ આપવામાં આવે છે.

સ્ટાન્ડર્ડ આઉટપુટ અને સ્ટાન્ડર્ડ એરર ડેટા ફોલ્ડરમાંના sidecar.log માં જાય છે. સ્ટાન્ડર્ડ ઇનપુટ એક pipe છે; ફાઇલનો અંત એટલે Nebo ચાલ્યું ગયું છે અને sidecar એ બંધ થવું જોઈએ. Sidecar પોતાના પ્રોસેસ ગ્રુપમાં ચાલે છે.

પેજ તરફથી વિનંતીઓ

/apps/<id>/api/<path> પરની વિનંતી, જે પેજ neboFetch અને સાપેક્ષ પાથથી કરે છે, તે path ને <path> પર સેટ કરીને HandleRequest સુધી પહોંચે છે. _ થી શરૂ થતા પાથ નકારાય છે. વિનંતીના મુખ્ય ભાગની મર્યાદા 10 MB અને જવાબની 32 MB છે.

કર્મચારી માટે સાધનો

ઍપની agent.json માં સાધનો જાહેર કરો. દરેક app__<app>__<name> નામનું સાધન બને છે, જે કર્મચારીને જરૂર પડે ત્યારે લોડ થાય છે. કૉલ sidecar પર method અને path પરની વિનંતી બને છે.

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

Nebo ને કૉલ કરવો

Sidecar Authorization: Bearer $NEBO_APP_TOKEN હેડર સાથે $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... કૉલ કરીને પેજ જેવી જ સેવાઓ વાપરી શકે છે.

રૂટશું કરે છે
GET /storage, GET|PUT|DELETE /storage/<key>ઍપનો key-value સ્ટોર.
POST /agents/invoke, POST /agents/streamકર્મચારીને પૂછે છે: {message, agent, data}. સ્ટ્રીમ જવાબો server-sent events છે.
POST /janus/complete, POST /janus/streamસીધો મૉડલ કૉલ: {messages, model, temperature, max_tokens, system}.
POST /http/proxyબહારની વિનંતી, {url, method, headers, body}, ઍપની network: પરવાનગીઓ દ્વારા માન્ય.
GET /identityઍપનો કર્મચારી.

જીવનચક્ર

  • Nebo દર ત્રણ સેકન્ડે સૉકેટ તપાસે છે.
  • નિષ્ફળ sidecar એક સેકન્ડ પછી ફરી શરૂ થાય છે, જે બમણું થતું વધુમાં વધુ 60 સેકન્ડ સુધી જાય છે. સળંગ પાંચ નિષ્ફળતા પછી તે નિષ્ફળ ચિહ્નિત થાય છે. 60 સેકન્ડ સુધી ચાલુ રહેતું sidecar ફરી સ્વસ્થ ગણાય છે.
  • બંધ sidecar પરની વિનંતી તેને શરૂ કરે છે અને 15 સેકન્ડ સુધી રાહ જુએ છે. GET અને HEAD વિનંતીઓનો ફરી પ્રયાસ થાય છે.
  • Sidecar બંધ કરવા, Nebo તેના પ્રોસેસ ગ્રુપને SIGTERM મોકલે છે, પછી બે સેકન્ડ પછી તેને kill કરે છે.