NeboAI
NeboAI
ਸ਼ੁਰੂ ਕਰੋ

ਐਪ ਸਾਈਡਕਾਰ

ਸਾਈਡਕਾਰ ਇੱਕ ਬਾਈਨਰੀ ਹੈ ਜੋ ਐਪ ਦੇ ਨਾਲ ਚੱਲਦੀ ਹੈ। ਇਹ ਪੰਨੇ ਦਾ API ਪਰੋਸਦੀ ਹੈ, ਐਪ ਦਾ ਡਾਟਾ ਰੱਖਦੀ ਹੈ, ਅਤੇ ਐਪ ਦੇ ਕਰਮਚਾਰੀ ਨੂੰ ਟੂਲ ਦਿੰਦੀ ਹੈ। Nebo ਇਸਨੂੰ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ, ਇੱਕ ਸਥਾਨਕ ਸਾਕਟ ਰਾਹੀਂ ਬੇਨਤੀਆਂ ਇਸ ਤੱਕ ਪਹੁੰਚਾਉਂਦਾ ਹੈ, ਅਤੇ ਅਸਫਲ ਹੋਣ ’ਤੇ ਇਸਨੂੰ ਮੁੜ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ।

ਇਕਰਾਰ

ਸਾਈਡਕਾਰ Unix ਸਾਕਟ ’ਤੇ ਇੱਕ gRPC ਸਰਵਰ ਹੁੰਦਾ ਹੈ। NEBO_APP_SOCK ਵਿਚਲੇ ਪਾਥ ’ਤੇ ਸੁਣੋ ਅਤੇ apps.v0.UIService ਲਾਗੂ ਕਰੋ। Nebo ਹਰ ਬੇਨਤੀ ਲਈ HandleRequest ਨੂੰ ਕਾਲ ਕਰਦਾ ਹੈ; HealthCheck ਅਤੇ Configure ਸੇਵਾ ਦਾ ਹਿੱਸਾ ਹਨ ਪਰ ਅੱਜਕੱਲ੍ਹ ਕਾਲ ਨਹੀਂ ਕੀਤੇ ਜਾਂਦੇ। ਸਾਕਟ ਮੈਨੀਫੈਸਟ ਦੇ startup_timeout ਅੰਦਰ ਬਣ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ, ਜੋ ਡਿਫ਼ਾਲਟ ਰੂਪ ਵਿੱਚ 10 ਸਕਿੰਟ ਹੈ ਅਤੇ ਵੱਧ ਤੋਂ ਵੱਧ 120 ਹੋ ਸਕਦਾ ਹੈ।

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

ਸਾਈਡਕਾਰ macOS ਅਤੇ Linux ’ਤੇ ਚੱਲਦੇ ਹਨ।

Nebo ਬਾਈਨਰੀ ਕਿੱਥੋਂ ਲੱਭਦਾ ਹੈ

ਐਪ ਦੇ ਫ਼ੋਲਡਰ ਵਿੱਚ, Nebo ਇਹਨਾਂ ਵਿੱਚੋਂ ਪਹਿਲੀ ਮੌਜੂਦ ਚੀਜ਼ ਵਰਤਦਾ ਹੈ:

  1. binary ਨਾਮ ਦੀ ਫ਼ਾਈਲ
  2. app ਨਾਮ ਦੀ ਫ਼ਾਈਲ
  3. tmp/ ਵਿਚਲੀ ਪਹਿਲੀ ਫ਼ਾਈਲ
  4. bin/ ਵਿਚਲੀ ਪਹਿਲੀ ਫ਼ਾਈਲ
  5. sidecar/target/release/ ਵਿਚਲੀ ਪਹਿਲੀ ਚੱਲਣਯੋਗ ਫ਼ਾਈਲ, ਸਥਾਨਕ ਵਿਕਾਸ ਲਈ

ਬਾਈਨਰੀ ਇੱਕ ਆਮ, ਚੱਲਣਯੋਗ ਫ਼ਾਈਲ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ, ਸਿੰਬੋਲਿਕ ਲਿੰਕ ਨਹੀਂ, ਅਤੇ ਵੱਧ ਤੋਂ ਵੱਧ 500 MB। ਪ੍ਰਕਾਸ਼ਿਤ ਐਪਸ ਇਸਨੂੰ bin/<name> ’ਤੇ ਰੱਖਦੀਆਂ ਹਨ। ਜਦੋਂ ਡਿਸਕ ’ਤੇ ਫ਼ਾਈਲ ਬਦਲਦੀ ਹੈ, Nebo ਸਾਈਡਕਾਰ ਨੂੰ ਮੁੜ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ।

ਵਾਤਾਵਰਣ

ਸਾਈਡਕਾਰ ਖ਼ਾਲੀ ਵਾਤਾਵਰਣ ਅਤੇ ਇਹਨਾਂ ਵੇਰੀਏਬਲਾਂ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ:

ਵੇਰੀਏਬਲਮੁੱਲ
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONਐਪ ਦੀ ਪਛਾਣ।
NEBO_APP_DIRਐਪ ਦਾ ਫ਼ੋਲਡਰ।
NEBO_APP_SOCKਸੁਣਨ ਲਈ ਸਾਕਟ, <app folder>/<id>.sock। Nebo ਇਸਦਾ ਮੋਡ 0600 ’ਤੇ ਸੈੱਟ ਕਰਦਾ ਹੈ।
NEBO_DATA_DIRਐਪ ਦਾ ਡਾਟਾ ਫ਼ੋਲਡਰ, <data>/appdata/agents/<id>/। ਇਹੀ ਕਾਰਜਕਾਰੀ ਡਾਇਰੈਕਟਰੀ ਵੀ ਹੈ।
NEBO_API_URLਬੋਟ ਦਾ ਸਥਾਨਕ API, http://127.0.0.1:<port>।
NEBO_APP_TOKENਬੋਟ ਦੇ ਐਪ API ਨੂੰ ਕਾਲ ਕਰਨ ਲਈ ਇੱਕ ਟੋਕਨ।
PATH, HOME, TMPDIR, LANG, LC_ALL, TZਜਿਉਂ ਦਾ ਤਿਉਂ ਅੱਗੇ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ।

ਸਟੈਂਡਰਡ ਆਉਟਪੁਟ ਅਤੇ ਸਟੈਂਡਰਡ ਐਰਰ ਡਾਟਾ ਫ਼ੋਲਡਰ ਵਿਚਲੀ sidecar.log ਵਿੱਚ ਜਾਂਦੇ ਹਨ। ਸਟੈਂਡਰਡ ਇਨਪੁਟ ਇੱਕ ਪਾਈਪ ਹੈ; ਫ਼ਾਈਲ ਦੇ ਅੰਤ ਦਾ ਮਤਲਬ ਹੈ ਕਿ Nebo ਚਲਾ ਗਿਆ ਹੈ ਅਤੇ ਸਾਈਡਕਾਰ ਨੂੰ ਬੰਦ ਹੋ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਸਾਈਡਕਾਰ ਆਪਣੇ ਖ਼ੁਦ ਦੇ ਪ੍ਰੋਸੈੱਸ ਸਮੂਹ ਵਿੱਚ ਚੱਲਦਾ ਹੈ।

ਪੰਨੇ ਤੋਂ ਬੇਨਤੀਆਂ

/apps/<id>/api/<path> ਨੂੰ ਭੇਜੀ ਬੇਨਤੀ, ਜੋ ਪੰਨਾ neboFetch ਅਤੇ ਇੱਕ ਸਾਪੇਖਿਕ ਪਾਥ ਨਾਲ ਕਰਦਾ ਹੈ, HandleRequest ਤੱਕ ਪਹੁੰਚਦੀ ਹੈ ਅਤੇ ਉਸ ਵਿੱਚ path ਦਾ ਮੁੱਲ <path> ਹੁੰਦਾ ਹੈ। _ ਨਾਲ ਸ਼ੁਰੂ ਹੋਣ ਵਾਲੇ ਪਾਥ ਰੱਦ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਬੇਨਤੀ ਦੀ ਬਾਡੀ 10 MB ਤੱਕ ਅਤੇ ਜਵਾਬ 32 MB ਤੱਕ ਸੀਮਤ ਹਨ।

ਕਰਮਚਾਰੀ ਲਈ ਟੂਲ

ਟੂਲਾਂ ਨੂੰ ਐਪ ਦੀ agent.json ਵਿੱਚ ਘੋਸ਼ਿਤ ਕਰੋ। ਹਰ ਇੱਕ app__<app>__<name> ਨਾਮ ਦਾ ਟੂਲ ਬਣ ਜਾਂਦਾ ਹੈ, ਜੋ ਕਰਮਚਾਰੀ ਨੂੰ ਲੋੜ ਪੈਣ ’ਤੇ ਲੋਡ ਹੁੰਦਾ ਹੈ। ਹਰ ਕਾਲ ਸਾਈਡਕਾਰ ਨੂੰ method ਅਤੇ path ’ਤੇ ਭੇਜੀ ਬੇਨਤੀ ਬਣ ਜਾਂਦੀ ਹੈ।

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

Nebo ਨੂੰ ਕਾਲ ਕਰਨਾ

ਸਾਈਡਕਾਰ Authorization: Bearer $NEBO_APP_TOKEN ਹੈਡਰ ਨਾਲ $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... ਨੂੰ ਕਾਲ ਕਰਕੇ ਉਹੀ ਸੇਵਾਵਾਂ ਵਰਤ ਸਕਦਾ ਹੈ ਜੋ ਪੰਨਾ ਵਰਤਦਾ ਹੈ।

ਰੂਟਕੀ ਕਰਦਾ ਹੈ
GET /storage, GET|PUT|DELETE /storage/<key>ਐਪ ਦਾ ਕੁੰਜੀ-ਮੁੱਲ ਸਟੋਰ।
POST /agents/invoke, POST /agents/streamਕਿਸੇ ਕਰਮਚਾਰੀ ਤੋਂ ਪੁੱਛਦਾ ਹੈ: {message, agent, data}। ਸਟ੍ਰੀਮ ਜਵਾਬ ਸਰਵਰ-ਭੇਜੇ ਇਵੈਂਟ ਹੁੰਦੇ ਹਨ।
POST /janus/complete, POST /janus/streamਸਿੱਧੀ ਮਾਡਲ ਕਾਲ: {messages, model, temperature, max_tokens, system}।
POST /http/proxyਬਾਹਰੀ ਬੇਨਤੀ, {url, method, headers, body}, ਜਿਸਦੀ ਇਜਾਜ਼ਤ ਐਪ ਦੀਆਂ network: ਇਜਾਜ਼ਤਾਂ ਦਿੰਦੀਆਂ ਹਨ।
GET /identityਐਪ ਦਾ ਕਰਮਚਾਰੀ।

ਜੀਵਨ-ਚੱਕਰ

  • Nebo ਹਰ ਤਿੰਨ ਸਕਿੰਟਾਂ ਬਾਅਦ ਸਾਕਟ ਦੀ ਜਾਂਚ ਕਰਦਾ ਹੈ।
  • ਅਸਫਲ ਸਾਈਡਕਾਰ ਇੱਕ ਸਕਿੰਟ ਬਾਅਦ ਮੁੜ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ, ਅਤੇ ਇਹ ਸਮਾਂ ਦੁੱਗਣਾ ਹੁੰਦਾ ਹੋਇਆ ਵੱਧ ਤੋਂ ਵੱਧ 60 ਸਕਿੰਟ ਤੱਕ ਜਾਂਦਾ ਹੈ। ਲਗਾਤਾਰ ਪੰਜ ਅਸਫਲਤਾਵਾਂ ਤੋਂ ਬਾਅਦ ਇਸਨੂੰ ਅਸਫਲ ਚਿੰਨ੍ਹਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਜੋ ਸਾਈਡਕਾਰ 60 ਸਕਿੰਟ ਚੱਲਦਾ ਰਹੇ ਉਹ ਫਿਰ ਤੋਂ ਸਿਹਤਮੰਦ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ।
  • ਰੁਕੇ ਹੋਏ ਸਾਈਡਕਾਰ ਨੂੰ ਭੇਜੀ ਬੇਨਤੀ ਉਸਨੂੰ ਸ਼ੁਰੂ ਕਰਦੀ ਹੈ ਅਤੇ 15 ਸਕਿੰਟ ਤੱਕ ਉਡੀਕ ਕਰਦੀ ਹੈ। GET ਅਤੇ HEAD ਬੇਨਤੀਆਂ ਦੁਬਾਰਾ ਕੋਸ਼ਿਸ਼ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ।
  • ਸਾਈਡਕਾਰ ਨੂੰ ਰੋਕਣ ਲਈ, Nebo ਉਸਦੇ ਪ੍ਰੋਸੈੱਸ ਸਮੂਹ ਨੂੰ SIGTERM ਭੇਜਦਾ ਹੈ, ਅਤੇ ਦੋ ਸਕਿੰਟਾਂ ਬਾਅਦ ਉਸਨੂੰ ਜ਼ਬਰਦਸਤੀ ਬੰਦ ਕਰ ਦਿੰਦਾ ਹੈ।