SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

Model Type: Sentence Transformer
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Supported Modality: Text

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity', 'module_input_name': 'sentence_embedding', 'module_output_name': 'sentence_embedding'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity', 'module_input_name': 'sentence_embedding', 'module_output_name': 'sentence_embedding'})
  (4): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    'Bộ Y tế quy định thế nào về việc vượt khả năng chuyên môn của Hội đồng GĐYK cấp tỉnh trong khám giám định bệnh, tật, dị dạng, dị tật có liên quan đến phơi nhiễm với chất độc hóa học?',
]
documents = [
    'text: c) Trường hợp vượt khả năng chuyên môn của Hội đồng GĐYK cấp tỉnh: - Trường hợp Hội đồng GĐYK cấp tỉnh chưa khám giám định: Trong thời gian 10 ngày làm việc, kể từ ngày nhận hồ sơ theo quy định tại Thông tư này, căn cứ hồ sơ GĐYK của đối tượng và điều kiện của Hội đồng GĐYK cấp tỉnh, cơ quan Thường trực của Hội đồng GĐYK báo cáo Chủ tịch Hội đồng tổ chức họp để kết luận về vượt khả năng chuyên môn theo quy định tại Khoản 5 Điều 12 Thông tư này và hoàn thiện biên bản họp, chuyển hồ sơ, giới thiệu đối tượng lên Hội đồng cấp GĐYK cấp Trung ương để khám giám định. - Trường hợp Hội đồng GĐYK cấp tỉnh đã khám giám định và kết luận vượt khả năng chuyên môn thì trong thời gian 10 ngày làm việc, kể từ ngày họp Hội đồng, cơ quan Thường trực của Hội đồng GĐYK có trách nhiệm hoàn thiện Biên bản, chuyển hồ sơ và giới thiệu đối tượng lên Hội đồng GĐYK cấp Trung ương để khám giám định phúc quyết.',
    'text: Tật song thai dính nhau 31 Sinh đôi dính nhau (conjoined twins) PHỤ LỤC 7 BIÊN BẢN KHÁM GIÁM ĐỊNH BỆNH, TẬT, DỊ DẠNG, DỊ TẬT CÓ LIÊN QUAN ĐẾN PHƠI NHIỄM VỚI CHẤT ĐỘC HÓA HỌC (Ban hành kèm theo Thông tư liên tịch số: 20/2016/TTLT-BYT-BLĐTBXH ngày 30/6/2016 của Bộ trưởng Bộ Y tế và Bộ trưởng Bộ Lao động-Thương binh và Xã hội) CƠ QUAN CHỦ QUẢN (1) HỘI ĐỒNG GIÁM ĐỊNH Y KHOA ------- CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc --------------- Số: ………/GĐYK-CĐHH ………, ngày. tháng. năm. BIÊN BẢN KHÁM GIÁM ĐỊNH Y KHOA Bệnh, tật, dị dạng, dị tật có liên quan đến phơi nhiễm với chất độc hóa học Hội đồng Giám định y khoa ………(2). Đã họp ngày: …….',
    'text: Trường hợp sinh con dị dạng, dị tật mà không mắc bệnh theo danh mục bệnh tật do Bộ Y tế quy định, Sở Lao động - Thương binh và Xã hội giới thiệu con dị dạng, dị tật ra Hội đồng giám định y khoa cấp tỉnh; đ) Hội đồng giám định y khoa cấp tỉnh khám giám định, lập biên bản giám định bệnh, tật; dị dạng, dị tật chuyển Sở Y tế kèm hồ sơ để cấp giấy chứng nhận bệnh tật do nhiễm chất độc hóa học; dị dạng, dị tật do ảnh hưởng của chất độc hóa học; e) Sở Y tế trong thời gian 10 ngày kể từ ngày tiếp nhận hồ sơ, có trách nhiệm cấp giấy chứng nhận bệnh tật do nhiễm chất độc hóa học; giấy chứng nhận dị dạng, dị tật do ảnh hưởng của chất độc hóa học và chuyển Sở Lao động - Thương binh và Xã hội kèm hồ sơ; g) Sở Lao động - Thương binh và Xã hội trong thời gian 10 ngày kể từ ngày tiếp nhận đủ hồ sơ do Sở Y tế chuyển đến, có trách nhiệm ra quyết định trợ cấp, phụ cấp đối với những trường hợp đủ điều kiện.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.7416, 0.5396, 0.4870]])

Training Details

Training Dataset

Unnamed Dataset

Size: 500,476 training samples
Columns: query, positive, negative_1, negative_2, and negative_3

Approximate statistics based on the first 1000 samples:

	query	positive	negative_1	negative_2	negative_3
type	string	string	string	string	string
details	min: 13 tokens mean: 31.66 tokens max: 84 tokens	min: 118 tokens mean: 217.96 tokens max: 333 tokens	min: 113 tokens mean: 221.67 tokens max: 339 tokens	min: 112 tokens mean: 220.97 tokens max: 474 tokens	min: 112 tokens mean: 221.65 tokens max: 490 tokens

Samples:

query	positive	negative_1	negative_2	negative_3
`Bộ Giao thông vận tải quy định các đơn vị kinh doanh vận tải nào phải lắp đặt thiết bị giám sát hành trình trên xe ô tô?`	text: Chương I. QUY ĐỊNH CHUNG Điều 1. Phạm vi điều chỉnh. Thông tư này quy định về cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô sau (sau đây gọi chung là thiết bị giám sát hành trình). Điều 2. Đối tượng áp dụng. Thông tư này áp dụng đối với các đơn vị kinh doanh vận tải, bến xe khách, bến xe hàng, các đơn vị cung cấp dịch vụ giám sát hành trình và các cơ quan, tổ chức, cá nhân có liên quan đến việc cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô trong phạm vi toàn quốc. Điều 3. Giải thích từ ngữ. Trong Thông tư này, các từ ngữ dưới đây được hiểu như sau: 1. Hệ thống thông tin: là tập hợp các thiết bị phần cứng, phần mềm và đường truyền dùng để thu nhận, quản lý, khai thác dữ liệu từ thiết bị giám sát hành trình. 2. Dữ liệu: là tập hợp các thông tin có cấu trúc được truyền từ thiết bị giám sát hành trình về máy chủ dịch vụ và từ máy chủ dịch vụ truyền về Tổng cục Đường bộ Việt Nam.	text: Khoản 7. Phạt tiền từ 7.000.000 đồng đến 10.000.000 đồng đối với cá nhân, từ 14.000.000 đồng đến 20.000.000 đồng đối với tổ chức kinh doanh vận tải, dịch vụ hỗ trợ vận tải thực hiện một trong các hành vi vi phạm sau đây: a) Kinh doanh vận tải bằng xe ô tô mà không có Giấy phép kinh doanh vận tải theo quy định; b) Thực hiện không đúng hình thức kinh doanh đã đăng ký trong Giấy phép kinh doanh vận tải; c) Thành lập điểm giao dịch đón, trả khách trái phép (bến dù, bến cóc); d) Bến xe không thực hiện quy trình đảm bảo an toàn giao thông cho xe ra, vào bến hoặc thực hiện không đúng, không đầy đủ quy trình đảm bảo an toàn giao thông cho xe ra, vào bến; đ) Không tổ chức khám sức khỏe định kỳ cho lái xe theo quy định hoặc có tổ chức khám nhưng không đầy đủ các nội dung theo quy định; e) Không thực hiện việc cung cấp các thông tin trên Lệnh vận chuyển của từng chuyến xe buýt, xe chạy tuyến cố định theo quy định; g) Bến xe khách không áp dụng phần mềm quản lý bến xe, hệ thống camera giám s...	text: Khoản 2. Trước ngày 01 tháng 7 năm 2021, xe ô tô kinh doanh vận tải hành khách có sức chứa từ 09 chỗ (kể cả người lái xe) trở lên phải lắp camera đảm bảo ghi, lưu trữ hình ảnh trên xe (bao gồm cả lái xe và cửa lên xuống của xe) trong quá trình xe tham gia giao thông. Dữ liệu hình ảnh được cung cấp cho cơ quan Công an, Thanh tra giao thông và cơ quan cấp giấy phép, bảo đảm giám sát công khai, minh bạch. Thời gian lưu trữ hình ảnh trên xe đảm bảo như sau: a) Tối thiểu 24 giờ gần nhất đối với xe hoạt động trên hành trình có cự ly đến 500 ki-lô-mét; b) Tối thiểu 72 giờ gần nhất đối với xe hoạt động trên hành trình có cự ly trên 500 ki-lô-mét.	text: 7. Kết nối, chia sẻ dữ liệu về quản lý hoạt động kinh doanh vận tải bằng xe ô tô, dữ liệu hình ảnh từ camera và dữ liệu từ thiết bị giám sát hành trình xe với ngành Công an (Cục Cảnh sát giao thông, Phòng Cảnh sát giao thông các địa phương), với Bộ Tài chính (Tổng cục Thuế, Cục Thuế các địa phương) để phối hợp quản lý nhà nước về trật tự, an toàn giao thông; an ninh, trật tự; thuế. Chi phí để thực hiện việc kết nối, chia sẻ dữ liệu từ Tổng cục đường bộ việt nam do cơ quan đề nghị kết nối, chia sẻ chịu trách nhiệm chi trả. 8. Rà soát và thực hiện cắm biển hạn chế tốc độ đối với xe khách có giường nằm hai tầng tại các vị trí cần thiết, đặc biệt là khu vực có địa hình đèo, dốc, tại các vị trí có bán kính đường cong nhỏ trên các tuyến quốc lộ. 9. Thanh tra, kiểm tra và xử lý theo thẩm quyền các hành vi vi phạm quy định về tổ chức quản lý vận tải, hoạt động kinh doanh, điều kiện kinh doanh vận tải đường bộ bằng xe ô tô và dịch vụ hỗ trợ vận tải đường bộ theo quy định của pháp luật.
`Bộ Giao thông vận tải giải thích như thế nào về các từ ngữ như 'hệ thống thông tin' và 'dữ liệu' trong quy định về thiết bị giám sát hành trình?`	text: Chương I. QUY ĐỊNH CHUNG Điều 1. Phạm vi điều chỉnh. Thông tư này quy định về cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô sau (sau đây gọi chung là thiết bị giám sát hành trình). Điều 2. Đối tượng áp dụng. Thông tư này áp dụng đối với các đơn vị kinh doanh vận tải, bến xe khách, bến xe hàng, các đơn vị cung cấp dịch vụ giám sát hành trình và các cơ quan, tổ chức, cá nhân có liên quan đến việc cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô trong phạm vi toàn quốc. Điều 3. Giải thích từ ngữ. Trong Thông tư này, các từ ngữ dưới đây được hiểu như sau: 1. Hệ thống thông tin: là tập hợp các thiết bị phần cứng, phần mềm và đường truyền dùng để thu nhận, quản lý, khai thác dữ liệu từ thiết bị giám sát hành trình. 2. Dữ liệu: là tập hợp các thông tin có cấu trúc được truyền từ thiết bị giám sát hành trình về máy chủ dịch vụ và từ máy chủ dịch vụ truyền về Tổng cục Đường bộ Việt Nam.	text: Điều 12. Trách nhiệm của đơn vị cung cấp dịch vụ 1. Đầu tư, bảo trì trang thiết bị, phần mềm cung cấp và truyền dữ liệu theo đúng hợp đồng đã ký với đơn vị kinh doanh vận tải để đảm bảo tương thích với phần mềm tiếp nhận dữ liệu của Tổng cục Đường bộ Việt Nam. 2. Bảo đảm tính khách quan, chính xác, kịp thời trong việc cung cấp dữ liệu, không được sửa chữa hoặc làm sai lệch các thông tin, dữ liệu truyền về Tổng cục Đường bộ Việt Nam; đảm bảo an toàn và bảo mật dữ liệu của các đơn vị kinh doanh vận tải do mình cung cấp. 3. Cung cấp kịp thời, chính xác các thông tin, dữ liệu từ thiết bị giám sát hành trình cho cơ quan quản lý nhà nước có thẩm quyền khi có yêu cầu; chịu trách nhiệm về tính chính xác, trung thực của thông tin, dữ liệu cung cấp và truyền về Tổng cục Đường bộ Việt Nam. 4. Xây dựng phần mềm khai thác dữ liệu từ thiết bị giám sát hành trình theo quy định tại Quy chuẩn kỹ thuật quốc gia QCVN 31:2014/BGTVT - Quy chuẩn kỹ thuật quốc gia về thiết bị giám sát hành trình xe ô t...	text: 4. Tuyến lộng là đường gấp khúc được tạo bởi các đoạn thẳng nối liền từ điểm 01’ đến điểm 18’. Tọa độ các điểm từ điểm 01’ đến điểm 18’ được xác định bởi kinh độ và vĩ độ quy định tại Phụ lục IV-A ban hành kèm theo Nghị định này. 5. Hệ thống giám sát tàu cá là hệ thống được tích hợp bởi thiết bị lắp đặt trên tàu cá kết nối với trung tâm dữ liệu giám sát tàu cá để quản lý, giám sát hành trình, hoạt động của tàu cá trên các vùng biển. 6. Thiết bị giám sát hành trình lắp trên tàu cá là thiết bị đầu cuối để nhận, lưu trữ và truyền phát các thông tin liên quan đến quá trình hoạt động của tàu cá; được kích hoạt, cài đặt để truyền dữ liệu về trung tâm dữ liệu giám sát tàu cá. 7. Chuyển tải thủy sản là hoạt động chuyển thủy sản, sản phẩm thủy sản khai thác từ tàu này sang tàu khác.	text: Điều 7. Xác định hệ thống thông tin 1. Việc xác định hệ thống thông tin để xác định cấp độ căn cứ trên nguyên tắc được quy định tại khoản 1 Điều 5 Nghị định 85/2016/NĐ-CP. 2. Hệ thống thông tin phục vụ hoạt động nội bộ là hệ thống chỉ phục vụ hoạt động quản trị, vận hành nội bộ của cơ quan, tổ chức. 3. Hệ thống thông tin phục vụ người dân, doanh nghiệp là hệ thống trực tiếp hoặc hỗ trợ cung cấp dịch vụ trực tuyến, bao gồm dịch vụ công trực tuyến và dịch vụ trực tuyến khác trong các lĩnh vực viễn thông, công nghệ thông tin, thương mại, tài chính, ngân hàng, y tế, giáo dục và các lĩnh vực chuyên ngành khác. 4. Hệ thống cơ sở hạ tầng thông tin là tập hợp trang thiết bị, đường truyền dẫn kết nối phục vụ chung hoạt động của nhiều cơ quan, tổ chức như mạng diện rộng, cơ sở dữ liệu, trung tâm dữ liệu, điện toán đám mây; xác thực điện tử, chứng thực điện tử, chữ ký số; kết nối liên thông các hệ thống thông tin. 5. Hệ thống thông tin Điều khiển công nghiệp là hệ thống có chức năng giám sá...
`Pháp luật quy định như thế nào về việc thu nhận, quản lý và khai thác dữ liệu từ thiết bị giám sát hành trình của xe ô tô?`	text: Chương I. QUY ĐỊNH CHUNG Điều 1. Phạm vi điều chỉnh. Thông tư này quy định về cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô sau (sau đây gọi chung là thiết bị giám sát hành trình). Điều 2. Đối tượng áp dụng. Thông tư này áp dụng đối với các đơn vị kinh doanh vận tải, bến xe khách, bến xe hàng, các đơn vị cung cấp dịch vụ giám sát hành trình và các cơ quan, tổ chức, cá nhân có liên quan đến việc cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình của xe ô tô trong phạm vi toàn quốc. Điều 3. Giải thích từ ngữ. Trong Thông tư này, các từ ngữ dưới đây được hiểu như sau: 1. Hệ thống thông tin: là tập hợp các thiết bị phần cứng, phần mềm và đường truyền dùng để thu nhận, quản lý, khai thác dữ liệu từ thiết bị giám sát hành trình. 2. Dữ liệu: là tập hợp các thông tin có cấu trúc được truyền từ thiết bị giám sát hành trình về máy chủ dịch vụ và từ máy chủ dịch vụ truyền về Tổng cục Đường bộ Việt Nam.	text: 5. Xử lý hoặc đề nghị cấp có thẩm quyền xử lý trách nhiệm đối với đơn vị kinh doanh vận tải trên địa bàn theo quy định. 6. Xử lý trách nhiệm cá nhân, tổ chức liên quan đến việc cung cấp, quản lý và sử dụng dữ liệu từ thiết bị giám sát hành trình trong quản lý, theo dõi, khai thác, sử dụng dữ liệu thiết bị giám sát hành trình. 7. Công bố dữ liệu về tọa độ, hướng của các biển báo tốc độ, khu vực hạn chế tốc độ trên các tuyến đường địa phương quản lý trên trang Thông tin điện tử của Sở Giao thông vận tải. 8. Báo cáo định kỳ hàng quý, 6 tháng, năm hoặc đột xuất theo yêu cầu của Tổng cục Đường bộ Việt Nam về tình hình vi phạm và kết quả xử lý vi phạm của địa phương và đơn vị kinh doanh vận tải trên địa bàn.	text: Trường hợp phát sinh quá 120 giờ cần thực hiện gọi điện cho khách hàng, và đưa vào trừ OFFLINE khi khách hàng đồng ý (chứng minh video+ hình ảnh xe qua trạm). 1. Tình hình giao thông (đánh giá tình giao thông trên toàn tuyến có xảy ra ùn tắc không? Có phải mở làn thu để giảm ùn tắc không, nếu có ghi cụ thể thời gian và nguyên nhân...); a) Thu nhận dữ liệu xe qua trạm theo thời gian thực của các phương tiện lưu thông trên các trạm thu phí được kết nối, đồng bộ dữ liệu. b) Truy xuất dữ liệu xe qua trạm bao gồm thời gian xe qua trạm, biển số, giá vé, loại xe, hình ảnh xe qua trạm. c) Tổng hợp, thống kê, phân tích các dữ liệu thu được theo yêu cầu đảm bảo sự minh bạch trong thu phí dịch vụ sử dụng đường bộ. 2. Trong quá trình thực hiện, nếu có vướng mắc, đề nghị các tổ chức, cá nhân kịp thời phản ánh về Bộ Giao thông vận tải để xem xét, giải quyết.	text: Khoản 1. Cơ quan, đơn vị tiếp nhận, thu thập dữ liệu: a) Cục Đường bộ Việt Nam, Thanh tra Sở Giao thông vận tải và đội nghiệp vụ trực thuộc tiếp nhận, thu thập dữ liệu thu được từ phương tiện, thiết bị kỹ thuật do tổ chức, cá nhân cung cấp đối với các hành vi vi phạm về trật tự, an toàn giao thông đường bộ thuộc thẩm quyền xử phạt; b) Cục Đường sắt Việt Nam, bộ phận tham mưu về công tác thanh tra chuyên ngành đường sắt, Thanh tra Sở Giao thông vận tải và đội nghiệp vụ trực thuộc tiếp nhận, thu thập dữ liệu thu được từ phương tiện, thiết bị kỹ thuật do tổ chức, cá nhân cung cấp đối với các hành vi vi phạm về trật tự, an toàn giao thông đường sắt thuộc thẩm quyền xử phạt; c) Cục Đường thuỷ nội địa Việt Nam, Chi cục Đường thuỷ nội địa, bộ phận tham mưu về công tác thanh tra chuyên ngành đường thuỷ nội địa, Cảng vụ Đường thủy nội địa và các đại diện trực thuộc, Thanh tra Sở Giao thông vận tải và đội nghiệp vụ trực thuộc tiếp nhận, thu thập dữ liệu thu được từ phương tiện, thiết bị kỹ...

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "mini_batch_size": 32,
    "gather_across_devices": true,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 1024
num_train_epochs: 1
learning_rate: 1e-05
warmup_steps: 0.1
bf16: True
dataloader_num_workers: 8
dataloader_persistent_workers: True
remove_unused_columns: False
ddp_find_unused_parameters: False
prompts: task: search result | query:
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

per_device_train_batch_size: 1024
num_train_epochs: 1
max_steps: -1
learning_rate: 1e-05
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_steps: 0.1
optim: adamw_torch_fused
optim_args: None
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
optim_target_modules: None
gradient_accumulation_steps: 1
average_tokens_across_devices: True
max_grad_norm: 1.0
label_smoothing_factor: 0.0
bf16: True
fp16: False
bf16_full_eval: False
fp16_full_eval: False
tf32: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
use_liger_kernel: False
liger_kernel_config: None
use_cache: False
neftune_noise_alpha: None
torch_empty_cache_steps: None
auto_find_batch_size: False
log_on_each_node: True
logging_nan_inf_filter: True
include_num_input_tokens_seen: no
log_level: passive
log_level_replica: warning
disable_tqdm: False
project: huggingface
trackio_space_id: trackio
per_device_eval_batch_size: 8
prediction_loss_only: True
eval_on_start: False
eval_do_concat_batches: True
eval_use_gather_object: False
eval_accumulation_steps: None
include_for_metrics: []
batch_eval_metrics: False
save_only_model: False
save_on_each_node: False
enable_jit_checkpoint: False
push_to_hub: False
hub_private_repo: None
hub_model_id: None
hub_strategy: every_save
hub_always_push: False
hub_revision: None
load_best_model_at_end: False
ignore_data_skip: False
restore_callback_states_from_checkpoint: False
full_determinism: False
seed: 42
data_seed: None
use_cpu: False
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
dataloader_drop_last: True
dataloader_num_workers: 8
dataloader_pin_memory: True
dataloader_persistent_workers: True
dataloader_prefetch_factor: None
remove_unused_columns: False
label_names: None
train_sampling_strategy: random
length_column_name: length
ddp_find_unused_parameters: False
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
ddp_backend: None
ddp_timeout: 1800
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
deepspeed: None
debug: []
skip_memory_metrics: True
do_predict: False
resume_from_checkpoint: None
warmup_ratio: None
local_rank: -1
prompts: task: search result | query:
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.4098	50	0.5648
0.8197	100	0.5171

Training Time

Training: 1.3 hours

Framework Versions

Python: 3.10.20
Sentence Transformers: 5.4.1
Transformers: 5.5.4
PyTorch: 2.9.1+cu128
Accelerate: 1.13.0
Datasets: 4.8.4
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

Downloads last month: 29

Safetensors

Model size

0.1B params

Tensor type

F32

Papers for quockhangdev/fastvilr

Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup

Paper • 2101.06983 • Published Jan 18, 2021 • 2

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Paper • 1908.10084 • Published Aug 27, 2019 • 12