NiebieskiKurczak/SebciaMini-Gen1

SebciaMini - Mały model językowy, stworzony w pełni w domowych warunkach.

Z powodu zbyt duzej ilości wolnego czasu postanowiłem zrobić własny model llm, a to cudeńko to jest tego rezultat. Bardzo proszę nie oczekiwać fajerwerków, poniewaz naprawdę trudno jest wytrenować model bazując na samym kaggle i google collab ;D Model robiony z patrotyzmem do Polski, wypełniony smaczkami i polską kulturą. A i nie da się z tego co wiem go przekonwertować do gguf, poniewaz poleciałem trochę za bardzo z architekturą własną, i nic by tego nie wspierało.

Dane techniczne

• Parametry: 280M
• 14B tokenów w pretrainingu
• Wsparcie dla języka polskiego, oraz bardzo podstawowe dla angielskiego.
• Architektura podobna do llama3, uzywa GQA, RoPE, RMSNorm oraz SwiGLU Activation Function.
• Tokenizer: Byte-Level BPE (Custom)