यह लेख OpenAI द्वारा प्रकाशित आधिकारिक दस्तावेज़, OpenAI डेवलपर समुदाय चर्चाओं में एकत्रित टीम फीडबैक और Aurabase कोड में सत्यापित व्यवहार पर आधारित है, जो मूल रूप से इन तीन आयाम वर्गों को तीन अलग-अलग वेक्टर कॉलम में रूट करता है। प्रत्येक बाहरी आकृति दिनांकित और स्रोतित है; जिस पद्धति को हम अपने स्वयं के मापों पर लागू करते हैं, उसके लिए हमारा बेंचमार्क पद्धति स्तंभ देखें।
- अधिकांश मामलों के लिए 1536 आयाम सबसे संतुलित विकल्प बने हुए हैं: मूल टेक्स्ट-एम्बेडिंग-3-छोटा, या छोटा टेक्स्ट-एम्बेडिंग-3-बड़ा, pgvector के मूल HNSW समर्थन से अलग हुए बिना।
- 3072 आयाम (टेक्स्ट-एम्बेडिंग-3-बड़ा) ओपनएआई द्वारा प्रकाशित उच्चतम MTEB स्कोर प्रदान करता है (64.6% बनाम 62.3%), लेकिन pgvector के
vectorप्रकार की 2000 आयाम सीमा से अधिक है: HNSW सूचकांक कोhalfvecपर कास्ट की आवश्यकता होती है। - OpenAI
dimensionsपैरामीटर (मैत्रियोश्का तकनीक) के माध्यम से एम्बेडिंग को छोटा करने से भंडारण कम हो जाता है और खोज तेज हो जाती है, लेकिन कीमत कम नहीं होती है: यह पूछे गए मॉडल पर निर्भर करता है, न कि लौटाए गए वेक्टर के आकार पर। halfvecस्टोरेज (2 बाइट्स प्रति आयाम) के लिए धन्यवाद, एक 3072-आयामी वेक्टर क्लासिकvector(4 बाइट्स प्रति आयाम) में 1536 वेक्टर के रूप में Aurabase पर समान कच्चे डिस्क स्थान पर रहता है: लगभग 6 केबी।- Aurabase मूल रूप से बिल्कुल 3 आयाम वर्गों, 768, 1536 और 3072 का समर्थन करता है, प्रत्येक अपने स्वयं के कॉलम पर (
aura-ai/src/embeddings/mod.rsमें चेक किया गया): कोई मुक्त आयाम फ़ील्ड नहीं।
768, 1536 या 3072: प्रत्येक स्तर वास्तव में क्या बदलता है
स्पष्ट रूप से, टेक्स्ट-एम्बेडिंग-3-छोटा और टेक्स्ट-एम्बेडिंग-3-बड़े के बीच चयन करना पहले 1536 और 3072 मूल आयामों के बीच चयन करने के बराबर है, यहां तक कि ट्रंकेशन के बारे में बात करने से पहले। नीचे दी गई तालिका उन तीन स्तरों पर सत्यापन योग्य तथ्यों का सारांश प्रस्तुत करती है जिन्हें pgvector मूल रूप से अनुक्रमण पक्ष पर पहचानता है, और वह Aurabase मार्ग।
| मापदंड | 768 आयाम | 1536 आयाम | 3072 आयाम |
|---|---|---|---|
| संबंधित मॉडल | ओपनएआई ट्रंकेशन, या लीगेसी/ओपन सोर्स (मूल) मॉडल | टेक्स्ट-एम्बेडिंग-3-छोटा (मूल) या छोटा किया गया 3-बड़ा | टेक्स्ट-एम्बेडिंग-3-बड़ा (मूल) |
| औसत MTEB स्कोर | इस आकार में OpenAI द्वारा मूल रूप से जारी नहीं किया गया है | 62,3 % | 64,6 % |
| सांकेतिक OpenAI मूल्य / 1M टोकन | यह पूछे गए मॉडल पर निर्भर करता है, आकार पर नहीं | $0.02 (छोटा) या $0.13 (छोटा बड़ा) | $0.13 (पाठ-एम्बेडिंग-3-बड़ा) |
| सकल संग्रहित भार/वेक्टर | 3 केबी (फ्लोट32) | 6 केबी (फ्लोट32) | 12 केबी (वेक्टर) या 6 केबी (आधावेक, Aurabase) |
| मूल HNSW pgvector सूचकांक | हाँ | हाँ | नहीं: कास्ट हाफवेक आवश्यक (>2000 डिम्स) |
| Aurabase कॉलम (सत्यापित कोड) | एम्बेडिंग_768 | एम्बेडिंग_1536 | एम्बेडिंग_3072 |
स्रोत: ओपनएआई, आधिकारिक ब्लॉग "नए एम्बेडिंग मॉडल और एपीआई अपडेट", 25 जनवरी, 2024 (MTEB स्कोर और लॉन्च कीमतें, उपयोग से पहले वर्तमान मूल्य निर्धारण पृष्ठ पर जांच करें); aura-ai/src/embeddings/mod.rs, Aurabase (कॉलम और सूचकांक समर्थन, 24 अगस्त 2026 को सत्यापित)।
भंडारण पर प्रभाव: गणना जो सब कुछ बदल देती है
एक एम्बेडिंग को फ़्लोटिंग पॉइंट नंबरों की एक सरणी की तरह संग्रहीत किया जाता है। pgvector में, क्लासिक vector प्रकार प्रत्येक आयाम को 4 बाइट्स (फ्लोट32) पर एन्कोड करता है: 768 आयाम इसलिए प्रति वेक्टर लगभग 3 KB कच्चे डेटा का वजन करते हैं, 1536 आयाम लगभग 6 KB, और 3072 आयाम लगभग 12 KB, pgvector हेडर और Postgres पेज ओवरहेड की गिनती करने से पहले ही वजन करते हैं।
यहीं पर pgvector का halfvec प्रकार आता है, जो प्रत्येक आयाम को 4 के बजाय 2 बाइट्स (फ्लोट16) में एन्कोड करता है। halfvec में संग्रहीत एक 3072-आयामी वेक्टर का वजन लगभग 6 KB होता है: बिल्कुल क्लासिक vector में संग्रहीत 1536-आयामी वेक्टर का वजन।
प्रत्यक्ष और अचूक परिणाम: Aurabase पर, 1536 से 3072 आयाम तक जाने से डिस्क पर वास्तविक भंडारण दोगुना नहीं होता है, क्योंकि embedding_3072 कॉलम को halfvecकास्ट के माध्यम से क्वेरी किया जाता है। इसलिए 3072 आयामों की वास्तविक अतिरिक्त लागत मुख्य रूप से डिस्क नहीं है: यह संबंधित ओपनएआई मॉडल की कीमत है, और vectorप्रकार के मूल सूचकांक समर्थन का आउटपुट है, जिसका विवरण निम्नलिखित अनुभाग में दिया गया है।
3072 आयाम pgvector के अंतर्गत सूचकांक प्रकार क्यों बदलते हैं
pgvector का vector प्रकार 2000 आयामों से अधिक HNSW या IVFFlat सूचकांक बनाने की अनुमति नहीं देता है। 3072 आयाम इस सीमा से अधिक हैं: vector(3072) कॉलम पर कोई भी वेक्टर खोज क्वेरी अनुमानित सूचकांक पर भरोसा नहीं कर सकती है, यह पूर्ण अनुक्रमिक स्कैन पर वापस आती है, जो उत्पादन में आरएजी कॉर्पस के पैमाने पर अनुपयोगी है।
Aurabase कोड इस मामले को स्पष्ट रूप से संभालता है: embedding_3072 कॉलम प्रत्येक प्रविष्टि और खोज क्वेरी पर halfvec(3072) पर डाला जाता है, एक प्रकार जो pgvector 4000 आयामों तक अनुक्रमित कर सकता है। कॉलम 768 और 1536 मूल vector बने रहते हैं, अनकास्ट, क्योंकि वे सीमा तक नहीं पहुंचते हैं।
// 3072 (>2000) के लिए, HNSW `वेक्टर` प्रकार को अनुक्रमित नहीं करता है → हाफवेक कास्ट करें
fn vec_query_parts(dims: usize) -> AuraResult<(&'static str, &'static str, &'static str)> {
match dims {
768 => Ok(("embedding_768", "", "::vector")),
1536 => Ok(("embedding_1536", "", "::vector")),
3072 => Ok(("embedding_3072", "::halfvec(3072)", "::halfvec(3072)")),
other => Err(...), // असमर्थित आयाम
}
}
यह विवरण यह भी बताता है कि क्यों [768, 1536, 3072] में सूचीबद्ध नहीं किया गया एक एम्बेडिंग आयाम स्पष्ट रूप से स्वीकार किए जाने और फिर खराब अनुक्रमित होने के बजाय Aurabase पक्ष पर विफल रहता है: कॉलम नाम हमेशा एक निश्चित अनुमति सूची से आता है, क्लाइंट द्वारा भेजे गए मुफ्त मूल्य से कभी नहीं। इस विशिष्ट मामले से परे Postgres पर HNSW इंडेक्स बनाने के बारे में गहराई से जानने के लिए, हमारा लेख HNSW इंडेक्स और Postgres वेक्टर सर्च देखें।
सब कुछ खोए बिना आयाम कम करना: ओपनएआई का मैत्रियोश्का ट्रंकेशन
जनवरी 2024 तक, OpenAI का एंबेडिंग एपीआई एक dimensions पैरामीटर स्वीकार करता है जो किसी भिन्न मॉडल को दोबारा लागू किए बिना लौटाए गए वेक्टर को छोटा करता है। तकनीक को मैत्रियोश्का रिप्रेजेंटेशन लर्निंग कहा जाता है: मॉडल को वेक्टर के पहले आयामों में उपयोगी जानकारी को केंद्रित करने के लिए प्रशिक्षित किया जाता है, ताकि एक ट्रंकेशन अचानक के बजाय धीरे-धीरे सटीकता खो दे।
OpenAI अपनी घोषणा में एक विशिष्ट उदाहरण के साथ इस तकनीक की प्रभावशीलता को दर्शाता है: टेक्स्ट-एम्बेडिंग-3-बड़ा, केवल 256 आयामों तक छोटा, फिर भी 1536 आयामों के पूर्ण आकार में उपयोग किए गए पुराने टेक्स्ट-एंबेडिंग-एडीए-002 के MTEB स्कोर से अधिक है (स्रोत: ओपनएआई, आधिकारिक ब्लॉग, 25 जनवरी, 2024)। 12 गुना छोटा एक वेक्टर जो इस विशिष्ट बेंचमार्क पर पूर्ण वेक्टर से बेहतर प्रदर्शन करता है।
let body = json!({
"model": self.embed_model, // जैसे "पाठ-एम्बेडिंग-3-बड़ा"
"input": text,
"dimensions": self.embed_dimensions, // 3072 को छोटा करता है → कॉन्फ़िगर किया गया मान
});
महत्वपूर्ण बिंदु, और अक्सर गलत समझा जाता है: काट-छांट करने से लगाई गई कीमत कम नहीं होती है। ओपनएआई शुल्क पूछे गए मॉडल पर आधारित है, न कि लौटाए गए वेक्टर के आकार पर, क्योंकि वास्तविक लागत इनपुट टेक्स्ट पर की गई गणना है। टेक्स्ट-एम्बेडिंग-3-लार्ज से 1536 आयामों का अनुरोध करने पर इसके 3072 मूल आयामों के समान मूल्य लगता है (स्रोत: ओपनएआई, आधिकारिक ब्लॉग, 25 जनवरी, 2024); केवल भंडारण और खोज गति में परिवर्तन होता है।
यह बिल्कुल Aurabase का डिफ़ॉल्ट विकल्प है, जिसे config/mod.rs में सत्यापित किया गया है: डिफ़ॉल्ट रूप से कॉन्फ़िगर किया गया मॉडल text-embedding-3-large है, लेकिन डिफ़ॉल्ट रूप से कॉन्फ़िगर किया गया आउटपुट आयाम 1536 है, 3072 नहीं। इसलिए सेवा विस्तृत मॉडल के प्रतिनिधित्व के लिए भुगतान करती है, जिसे मूल HNSW में एक अनुक्रमणीय vector कॉलम पर बने रहने के लिए छोटा कर दिया गया है। halfvec कास्ट 3072 तक आवश्यक है।
आपके उपयोग के मामले के अनुसार कौन सा आयाम चुनना है
1536 आयाम अधिकांश RAG या सिमेंटिक खोज परियोजनाओं के लिए उचित प्रारंभिक बिंदु बने हुए हैं: टेक्स्ट-एम्बेडिंग-3-स्मॉल (62.3%) का MTEB स्कोर बड़े मॉडल के करीब रहता है, भंडारण हल्का रहता है, और HNSW में बिना किसी विशेष कॉन्फ़िगरेशन के क्लासिक vector प्रकार के pgvector इंडेक्स होते हैं।
3072 आयाम उचित है जब कॉर्पस अस्पष्ट या तकनीकी है, जहां 62.3% और 64.6% के बीच गुणवत्ता अंतर आपके स्वयं के प्रश्नों पर स्पष्ट रूप से बेहतर खोज परिणामों में तब्दील हो जाता है, सामान्य ओपनएआई बेंचमार्क पर नहीं। OpenAI डेवलपर समुदाय चर्चाओं में दर्ज कई टीम फीडबैक इस दिशा में इशारा करते हैं: 3072 आयामों का लाभ केस-दर-केस आधार पर मापा जाता है, इसे नहीं माना जा सकता है।
768 आयाम विशेष रूप से तब उपयुक्त होते हैं जब मात्रा को बारीकियों पर प्राथमिकता दी जाती है: एक बड़ा कोष जहां भंडारण या गणना बजट वास्तविक बाधा है, या 768 मूल आयामों में पहले से ही एक विरासत एम्बेडिंग मॉडल का उपयोग होता है।
जब तक आपने ओपनएआई द्वारा प्रकाशित सामान्य MTEB स्कोर नहीं, बल्कि अपने स्वयं के कॉर्पस के प्रतिनिधि नमूने पर खोज गुणवत्ता को मापा है, तब तक आयाम निर्धारित न करें। MTEB दर्जनों विषम कार्यों का औसत बनाता है; आपका आरएजी कोष सिर्फ एक है।
आयाम की यह पसंद एक बड़े RAG स्टैक, एम्बेडिंग, HNSW इंडेक्स, हाइब्रिड खोज का हिस्सा है, जो हमारे पेज नेटिव AIदस्तावेज़ों का हिस्सा है।
हमसे अक्सर क्या पूछा जाता है
क्या हम हर चीज़ को दोबारा अनुक्रमित किए बिना पहले से अनुक्रमित कॉर्पस का आकार बदल सकते हैं?+
embedding_model कॉलम + आयाम के लिए समर्पित कॉलम) द्वारा फ़िल्टर करता है। 1536 आयामों में अनुक्रमित एक कोष 3072 में की गई खोज के लिए अदृश्य हो जाता है, और इसके विपरीत: आयाम बदलने के लिए नए वर्ग के तहत कोष को पुन: अनुक्रमित करने की आवश्यकता होती है।क्या मिथुन आपको 3072 आयामों से आगे जाने की अनुमति देता है?+
outputDimensionality) पर कैप करता है। 3072 सभी आपूर्तिकर्ताओं द्वारा संयुक्त रूप से Aurabase द्वारा समर्थित तीन वर्गों के लिए सामान्य सीमा है।क्या आपको सर्वोत्तम परिणामों के लिए हमेशा 3072 आयाम चुनना चाहिए?+
vectorप्रकार के मूल HNSW समर्थन की रिहाई, अनिवार्य halfvec कास्ट, और विस्तृत मॉडल की कीमत। इस लागत को उचित ठहराने से पहले लाभ को आपके कोष पर सत्यापित किया जाना चाहिए।उत्पादन में RAG प्रोजेक्ट के लिए टेक्स्ट-एम्बेडिंग-3-छोटा या टेक्स्ट-एम्बेडिंग-3-बड़ा?+
सही विकल्प सबसे बड़ा नहीं है, यह सबसे अच्छा मापा गया विकल्प है
768, 1536 और 3072 आयाम एक ही अक्ष पर विभाजित नहीं हैं। OpenAI द्वारा प्रकाशित MTEB स्कोर में 3072 का लाभ, लेकिन pgvector का मूल HNSW समर्थन छोड़ देता है और बड़े मॉडल की कीमत का भुगतान करता है, जो भी आयाम अंततः अनुरोध करता है। 1536 सबसे आम डिफ़ॉल्ट शेष है, जिसमें Aurabase भी शामिल है। 768 ऐसे मामलों में कार्य करता है जहां मात्रा को बारीकियों से अधिक प्राथमिकता दी जाती है।
OpenAI का dimensions पैरामीटर पूछे जाने वाले प्रश्न को बदल देता है: यह अब "कौन सा मॉडल चुनना है" नहीं है, बल्कि "मेरे कॉर्पस पर मापा गया लाभ के लिए कौन सा कटौती स्वीकार करना है"। उत्पादन में किसी विकल्प को अंतिम रूप देने से पहले, खोज गुणवत्ता का परीक्षण केवल सामान्य बेंचमार्क पर नहीं, बल्कि वास्तविक नमूने पर करें। हमारा गाइड RAG पाइपलाइन pgvector के साथ अंतर्ग्रहण से लेकर हाइब्रिड खोज तक संपूर्ण सेटअप का विवरण देता है।