Hugging Face's logo

HipFil98
/
sbert-mariannaQA-ita

Sentence Similarity
sentence-transformers
Safetensors
distilbert
feature-extraction
Generated from Trainer
dataset_size:253483
loss:MarginMSELoss
text-embeddings-inference
Model card Files
xet
Community

SentenceTransformer based on sentence-transformers/quora-distilbert-multilingual

This is a sentence-transformers model finetuned from sentence-transformers/quora-distilbert-multilingual. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("HipFil98/sbert-mariannaQA-ita")
# Run inference
sentences = [
    "Ade è l'antagonista principale nel musical Hadestown.",
    "Chi è l'antagonista principale nel musical Hadestown?",
    "Perchè la poesia resta l\\'unico elemento eterno",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 253,483 training samples
  • Columns: sentence_0, sentence_1, sentence_2, and label
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1 sentence_2 label
    type string string string float
    details
    • min: 6 tokens
    • mean: 108.27 tokens
    • max: 128 tokens
    • min: 8 tokens
    • mean: 16.5 tokens
    • max: 38 tokens
    • min: 7 tokens
    • mean: 17.77 tokens
    • max: 37 tokens
    • min: -0.18
    • mean: 0.33
    • max: 0.9
  • Samples:
    sentence_0 sentence_1 sentence_2 label
    A lungo si è discusso a quale genere appartenesse un'opera tanto innovativa come quella ovidiana. Per gli studiosi è stato subito chiaro che l'intenzione di Ovidio fosse quella di scrivere un poema epico. D'altronde l'utilizzo dell'esametro, il tipico metro della tradizione epica usato da Omero e da Virgilio, presupponeva proprio questo, che ci trovassimo di fronte a un altro poema epico. Quello che però non ha convinto - e su cui i critici hanno dibattuto per tutto l'inizio del XX secolo - è stata la scelta tematica fatta da Ovidio: non l'epopea di un unico eroe, ma un'infinità di storie legate insieme da un unico elemento, le metamorfosi. D'altronde non dobbiamo scordare che Ovidio, prima di scrivere il poema, era considerato il più famoso poeta elegiaco della corte augustea insieme a Properzio. Anderson ha notato che proprio i primi due versi delle Metamorfosi sono in un certo senso esemplificative del passaggio da poeta elegiaco a epico: Tenendo presente che un distico elegiaco è ... Cosa hanno in comune i primi due versi delle Metamorfosi secondo Anderson? Perché il Mormando utilizzò l'ordine corinzio completo di piedistallo nelle chiese napoletane del cinquecento? 0.4587586522102356
    Negli anni successivi, Atene viene attaccata come tutta la Grecia dall'Impero persiano. Nel 490 a.C la flotta persiana sbarca in Eubea e tenta di assediare Atene. La città chiede aiuto a Sparta ma rimane sola. Gli ateniesi non si scoraggiano e a Maratona in una epica battaglia riescono a sconfiggere e a ricacciare in patria i persiani. Qualche anno dopo, il re Serse sbaraglia i greci alle Termopili e assedia Atene. Gli abitanti riescono a rifugiarsi a Salamina ma la città è distrutta dai persiani. Sotto la guida di Temistocle, gli ateniesi riescono comunque a sconfiggere i persiani e a ricostruire la loro città ed a costruire una cinta difensiva, che sarà ricordata come le mura di Temistocle, nella speranza di proteggersi da ulteriori invasioni. Perchè le mura di Temistocle furono costruite? Chi ha ammirato la Crypta Neapolitana? 0.371756911277771
    Quando a Napoli cadevano le bombe di Aldo De Gioia (2009) Morso di luna nuova di Erri De Luca pubblicato nel 2005 e portato in scena dal 2008 da varie Compagnie teatrali. Libertà: Omaggio alle Quattro Giornate di Napoli - spettacolo in prosa e musica di Giovanni D'Angelo (2003) Cosa è stato rappresentato nel testo? Chi insegnò il giordano Filodemo di Gadara e Sirone a Napoli? 0.08001580834388733
  • Loss: MarginMSELoss

Training Hyperparameters

Non-Default Hyperparameters

  • num_train_epochs: 1
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 8
  • per_device_eval_batch_size: 8
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
0.0158 500 11.4697
0.0316 1000 0.0719
0.0473 1500 0.0431
0.0631 2000 0.0372
0.0789 2500 0.0309
0.0947 3000 0.0272
0.1105 3500 0.0249
0.1262 4000 0.0209
0.1420 4500 0.0186
0.1578 5000 0.0164
0.1736 5500 0.0142
0.1894 6000 0.0131
0.2051 6500 0.0123
0.2209 7000 0.0134
0.2367 7500 0.0102
0.2525 8000 0.0101
0.2683 8500 0.0091
0.2840 9000 0.0083
0.2998 9500 0.008
0.3156 10000 0.0083
0.3314 10500 0.0072
0.3472 11000 0.0075
0.3629 11500 0.0069
0.3787 12000 0.0063
0.3945 12500 0.0062
0.4103 13000 0.0064
0.4261 13500 0.0057
0.4418 14000 0.0058
0.4576 14500 0.005
0.4734 15000 0.005
0.4892 15500 0.0048
0.5050 16000 0.0046
0.5207 16500 0.0046
0.5365 17000 0.0044
0.5523 17500 0.0042
0.5681 18000 0.0038
0.5839 18500 0.0037
0.5996 19000 0.0038
0.6154 19500 0.0036
0.6312 20000 0.0033
0.6470 20500 0.0033
0.6628 21000 0.0031
0.6785 21500 0.0029
0.6943 22000 0.0029
0.7101 22500 0.0028
0.7259 23000 0.0028
0.7417 23500 0.0028
0.7574 24000 0.0025
0.7732 24500 0.0024
0.7890 25000 0.0023
0.8048 25500 0.0023
0.8206 26000 0.0021
0.8363 26500 0.0022
0.8521 27000 0.002
0.8679 27500 0.0019
0.8837 28000 0.0019
0.8995 28500 0.0019
0.9152 29000 0.0018
0.9310 29500 0.0018
0.9468 30000 0.0018
0.9626 30500 0.0017
0.9784 31000 0.0017
0.9941 31500 0.0016

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.3.1
  • Transformers: 4.47.1
  • PyTorch: 2.5.1+cu121
  • Accelerate: 1.2.1
  • Datasets: 3.2.0
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MarginMSELoss 

@misc{hofstätter2021improving,
    title={Improving Efficient Neural Ranking Models with Cross-Architecture Knowledge Distillation},
    author={Sebastian Hofstätter and Sophia Althammer and Michael Schröder and Mete Sertkan and Allan Hanbury},
    year={2021},
    eprint={2010.02666},
    archivePrefix={arXiv},
    primaryClass={cs.IR}
}
Downloads last month
2
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for HipFil98/sbert-mariannaQA-ita

Base model

sentence-transformers/quora-distilbert-multilingual
Finetuned
(3)
this model

Papers for HipFil98/sbert-mariannaQA-ita