# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, BertRnnDist
tokenizer = AutoTokenizer.from_pretrained("LeCastre/DistilBert-pMHC")
model = BertRnnDist.from_pretrained("LeCastre/DistilBert-pMHC", device_map="auto")DistilBERT-pMHC
Este modelo fue creado realizando el principio de destilaci贸n BERT y poni茅ndolo en pr谩citica con un modelo prote铆nico como lo es el ProteinBERT.
Se us贸 de referencia la Destilaci贸n de un modelo RoBERTa. Lo que se hizo fue dividir a la mitad las capas del modelo y tener de entrada un modelo maestro y uno estudiante que ser铆a el resultante:
Este proceso implica reducir el tama帽o del modelo maestro dividiendo sus capas, por ejemplo, a la mitad en el modelo estudiante, manteniendo su estructura esencial. Seg煤n [1], se entrena al modelo peque帽o para imitar las salidas del maestro, utilizando t茅cnicas como la p茅rdida de entrop铆a cruzada y la temperatura de softmax para suavizar las predicciones. Como se menciona en [2], adem谩s de reducir capas, se ajustan los pesos y se optimizan las salidas intermedias para que el modelo destilado conserve el rendimiento. En [1] usaron la teor铆a de DistilBERT pero aplicado a un modelo RoBERTa de [2] y usando esta implementaci贸n, obviamente modific谩ndolo para nuestro modelo ProteinBERT, se logr贸 hacerle una destilaci贸n y obtener resultados muy similares al modelo original y con mucho menos peso que su modelo maestro. Citas: [1] Victor SANH, Lysandre DEBUT, Julien CHAUMOND, Thomas WOLF, DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter (2019), Hugging Face [3] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov, RoBERTa: un enfoque de preentrenamiento BERT optimizado de manera s贸lida (2019), arXiv
Model Details
Model Description
- Developed by: Jose Alfredo Grados Chuquitaype
- Model type: Predicci贸n
- Language(s) (NLP): English
- Downloads last month
- 7
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="LeCastre/DistilBert-pMHC")