NeboAI
NeboAI
ចាប់ផ្ដើម

App Sidecar

sidecar គឺជាឯកសារប្រព័ន្ធគោលពីរដែលដំណើរការក្បែរកម្មវិធី។ វាផ្ដល់ API របស់ទំព័រ រក្សាទិន្នន័យរបស់កម្មវិធី និងផ្ដល់ឧបករណ៍ដល់បុគ្គលិករបស់កម្មវិធី។ Nebo ចាប់ផ្ដើមវា បញ្ជូនសំណើទៅវាតាម socket ក្នុងម៉ាស៊ីន ហើយចាប់ផ្ដើមវាឡើងវិញនៅពេលវាបរាជ័យ។

កិច្ចសន្យា

sidecar គឺជាម៉ាស៊ីនមេ gRPC នៅលើ Unix socket។ ស្ដាប់នៅលើផ្លូវក្នុង NEBO_APP_SOCK ហើយអនុវត្ត apps.v0.UIService។ Nebo ហៅ HandleRequest សម្រាប់សំណើនីមួយៗ HealthCheck និង Configure ជាផ្នែកនៃសេវាកម្ម ប៉ុន្តែមិនត្រូវបានហៅនៅពេលនេះទេ។ socket ត្រូវតែលេចឡើងក្នុងរយៈពេល startup_timeout របស់ manifest ដែលលំនាំដើមគឺ 10 វិនាទី ហើយអាចច្រើនបំផុត 120។

syntax = "proto3";
package apps.v0;

service UIService {
  rpc HealthCheck(HealthCheckRequest) returns (HealthCheckResponse);
  rpc Configure(SettingsMap) returns (Empty);
  rpc HandleRequest(HttpRequest) returns (HttpResponse);
}

message HttpRequest {
  string method = 1;               // GET, POST, PUT, DELETE, ...
  string path = 2;                 // relative to /apps/{id}/api/
  string query = 3;                // raw query string
  map<string, string> headers = 4;
  bytes body = 5;
}

message HttpResponse {
  int32 status_code = 1;
  map<string, string> headers = 2;
  bytes body = 3;
}

Sidecar ដំណើរការលើ macOS និង Linux។

កន្លែងដែល Nebo រកឃើញឯកសារប្រព័ន្ធគោលពីរ

នៅក្នុងថតរបស់កម្មវិធី Nebo ប្រើឯកសារដំបូងក្នុងចំណោមឯកសារទាំងនេះដែលមាន៖

  1. ឯកសារដែលមានឈ្មោះ binary
  2. ឯកសារដែលមានឈ្មោះ app
  3. ឯកសារដំបូងនៅក្នុង tmp/
  4. ឯកសារដំបូងនៅក្នុង bin/
  5. កម្មវិធីប្រតិបត្តិដំបូងនៅក្នុង sidecar/target/release/ សម្រាប់ការអភិវឌ្ឍក្នុងម៉ាស៊ីន

ឯកសារប្រព័ន្ធគោលពីរត្រូវតែជាឯកសារធម្មតា ដែលអាចប្រតិបត្តិបាន មិនមែន symbolic link ទេ ហើយមានទំហំច្រើនបំផុត 500 MB។ កម្មវិធីដែលបានបោះផ្សាយដាក់វានៅ bin/<name>។ នៅពេលឯកសារផ្លាស់ប្ដូរនៅលើឌីស Nebo ចាប់ផ្ដើម sidecar ឡើងវិញ។

បរិស្ថាន

sidecar ចាប់ផ្ដើមជាមួយបរិស្ថានទទេ និងអថេរទាំងនេះ៖

អថេរតម្លៃ
NEBO_APP_ID, NEBO_APP_NAME, NEBO_APP_VERSIONអត្តសញ្ញាណរបស់កម្មវិធី។
NEBO_APP_DIRថតរបស់កម្មវិធី។
NEBO_APP_SOCKsocket សម្រាប់ស្ដាប់ <app folder>/<id>.sock។ Nebo កំណត់របៀបរបស់វាជា 0600។
NEBO_DATA_DIRថតទិន្នន័យរបស់កម្មវិធី <data>/appdata/agents/<id>/។ ក៏ជាថតធ្វើការផងដែរ។
NEBO_API_URLAPI ក្នុងម៉ាស៊ីនរបស់បូត http://127.0.0.1:<port>។
NEBO_APP_TOKENtoken សម្រាប់ហៅ API កម្មវិធីរបស់បូត។
PATH, HOME, TMPDIR, LANG, LC_ALL, TZបញ្ជូនបន្តដដែល។

លទ្ធផលស្ដង់ដារ និងកំហុសស្ដង់ដារ ទៅកាន់ sidecar.log នៅក្នុងថតទិន្នន័យ។ ការបញ្ចូលស្ដង់ដារគឺជា pipe ចុងបញ្ចប់ឯកសារមានន័យថា Nebo បានចាកចេញ ហើយ sidecar គួរតែចេញ។ sidecar ដំណើរការក្នុងក្រុមដំណើរការផ្ទាល់ខ្លួនរបស់វា។

សំណើពីទំព័រ

សំណើទៅ /apps/<id>/api/<path> ដែលទំព័រធ្វើដោយប្រើ neboFetch និងផ្លូវដែលទាក់ទង ទៅដល់ HandleRequest ដោយ path ត្រូវបានកំណត់ជា <path>។ ផ្លូវដែលចាប់ផ្ដើមដោយ _ ត្រូវបានបដិសេធ។ តួសំណើមានកំណត់ត្រឹម 10 MB ហើយការឆ្លើយតបត្រឹម 32 MB។

ឧបករណ៍សម្រាប់បុគ្គលិក

ប្រកាសឧបករណ៍នៅក្នុង agent.json របស់កម្មវិធី។ នីមួយៗក្លាយជាឧបករណ៍ដែលមានឈ្មោះ app__<app>__<name> ដែលផ្ទុកនៅពេលបុគ្គលិកត្រូវការវា។ ការហៅមួយក្លាយជាសំណើទៅ sidecar នៅ method និង path។

"tools": [
  {
    "name": "list_deals",
    "description": "List open deals, optionally filtered by stage.",
    "method": "GET",
    "path": "/deals",
    "input_schema": { "type": "object", "properties": { "stage": { "type": "string" } } }
  }
]

ការហៅ Nebo

sidecar អាចប្រើសេវាកម្មដូចគ្នានឹងទំព័រ ដោយហៅ $NEBO_API_URL/api/v1/apps/$NEBO_APP_ID/... ជាមួយ header Authorization: Bearer $NEBO_APP_TOKEN។

ផ្លូវធ្វើ
GET /storage, GET|PUT|DELETE /storage/<key>ឃ្លាំងផ្ទុក key-value របស់កម្មវិធី។
POST /agents/invoke, POST /agents/streamសួរបុគ្គលិក៖ {message, agent, data}។ ការឆ្លើយតបជាស្ទ្រីមគឺជា server-sent events។
POST /janus/complete, POST /janus/streamការហៅម៉ូដែលដោយផ្ទាល់៖ {messages, model, temperature, max_tokens, system}។
POST /http/proxyសំណើខាងក្រៅ {url, method, headers, body} ដែលត្រូវបានអនុញ្ញាតដោយការអនុញ្ញាត network: របស់កម្មវិធី។
GET /identityបុគ្គលិករបស់កម្មវិធី។

វដ្ដជីវិត

  • Nebo ពិនិត្យ socket រៀងរាល់បីវិនាទីម្ដង។
  • sidecar ដែលបរាជ័យចាប់ផ្ដើមឡើងវិញបន្ទាប់ពីមួយវិនាទី ហើយកើនទ្វេដងរហូតដល់អតិបរមា 60 វិនាទី។ បន្ទាប់ពីបរាជ័យប្រាំដងជាប់ៗគ្នា វាត្រូវបានសម្គាល់ថាបរាជ័យ។ sidecar ដែលនៅដំណើរការរយៈពេល 60 វិនាទី ត្រឡប់មកមានសុខភាពល្អវិញ។
  • សំណើទៅ sidecar ដែលបានបញ្ឈប់ ចាប់ផ្ដើមវា ហើយរង់ចាំរហូតដល់ 15 វិនាទី។ សំណើ GET និង HEAD ត្រូវបានព្យាយាមម្ដងទៀត។
  • ដើម្បីបញ្ឈប់ sidecar Nebo ផ្ញើ SIGTERM ទៅក្រុមដំណើរការរបស់វា បន្ទាប់មកសម្លាប់វាបន្ទាប់ពីពីរវិនាទី។