Licensierade textdatauppsättningar för LLM- och AI-utbildning
Licensiera färdiga textkorpusar för LLM-, NLP- och generativ AI-utbildning — konversationsbaserade frågor och svar, kod, nyheter, kliniska, akademiska och flerspråkiga data, anpassade till ditt projekt.
Licensierade textdatauppsättningar för LLM- och NLP-utbildning
Shaips textdatakatalog ger AI-team licensierade textdatauppsättningar för träning, finjustering och utvärdering av stora språkmodeller (LLM) och NLP-system. Den täcker åtta kategorier. Varje datauppsättning kommer från verkligt material och kan anpassas till ditt projekt.
Katalogen innehåller dataset för konversationella frågor och svar samt instruktionsdata på engelska och arabiska, som täcker modern standardarabiska och saudiska, emiratiska, egyptiska och levantinska dialekter. Den har också koddataset för arkivering på nio programmeringsspråk, varav flera med fullständig pull-request- och commit-historik. För aktuella händelser och RAG finns nyhetsdataset på engelska, spanska och arabiska, inklusive ett arkiv med 975 000 artiklar som går tillbaka till 1999. AI-team inom hälso- och sjukvården kan använda kliniska fråge- och svarsdataset och falldataset , tillgängliga som gyllene och silverfärgade set, inklusive avidentifiering.
För förberedelser finns det råtext och webbaserade korpusar , inklusive en arabisk korpus på 20 miljoner ord. Skannade dokumentkorpusar stödjer dokument AI och informationsutvinning. Akademisk och förlagstext täcker tolv naturvetenskapliga och tekniska ämnen, och manusbaserad underhållningstext täcker film, TV, animation och mikrodrama.
Varje dataset levereras med tydlig licens och kvalitetsgranskning. Exempel finns tillgängliga så att du kan utvärdera en dataset innan du köper. Bläddra bland en kategori nedan eller kontakta oss för att diskutera anpassad textdatainsamling.
Konversationsfrågor och instruktionsdataset
Dessa datamängder innehåller par av mänskliga författade frågor och svar samt instruktionsuppmaningar på arabiska och engelska, som spänner över modern standardarabiska tillsammans med saudiska, emiratiska, egyptiska och levantinska dialekter. Domänspecifika uppsättningar täcker STEM, livsmedel och jordbruk. De stöder instruktionsjustering, finjustering och utvärdering av språkmodeller där regional dialekttäckning och kulturellt förankrad kunskap är viktiga.
Kod- och programvaruförvaringsdataset
Produktionskodbaser hämtade från verklig, levererad programvara i C#, React, TypeScript, Angular, Java, Go, PHP, Swift och BrightScript. Flera poster inkluderar fullständig pull-request- och commit-historik, som visar hur kod har ändrats under granskning. De stöder kodkomplettering, kodgenerering, kodförståelse och kodgranskningsmodellträning, med repositories tillgängliga för utvärdering före licensiering.
Nyhets- och journalistiska textdataset
Professionellt författade och redigerade nyhetsartiklar från en stor internationell nyhetsorganisation, tillgängliga som ett återkommande flöde på engelska, spanska och arabiska, och som en arkivsamling av 975 000 artiklar publicerade sedan 1999. Varje artikel har taggar för byline, datum, rubrik, brödtext och ämne. De passar för träning av aktuella händelser, generering med ökad sökmotoroptimering och tidsmässiga resonemangsuppgifter.
Kliniska frågor och svar och falldata
Medicinska fråge- och svarsset, kliniska fallsammanfattningar och medicinska artiklar i fulltext för vårdfokuserad modellträning och utvärdering. Guld- och silverdataset finns tillgängliga, de förra förberedda enligt en högre granskningsstandard för benchmarking. Där källmaterial innehåller personligt identifierbar eller skyddad hälsoinformation ingår borttagning, avidentifiering och maskering i uppdraget.
Råtext och webbskala korpus
Storskaliga råtext-, prompt- och text-till-tal-skriptkorpusar som spänner över modern standardarabiska och regionala dialekter, inklusive en råkorpus på 20 miljoner ord. De stöder förträning av språkmodeller och utökning av ordförråd och dialekttäckning i modeller som hanterar MSA väl men presterar dåligt på talade regionala varianter.
Dokument- och skannad textkorpus
Skannade dokument och strukturerade formulär levereras som PDF-filer i verklighetstrogna layouter och med skanningskvalitet snarare än syntetiska renderingar. De stöder dokument-AI, OCR-ansluten naturlig språkbehandling och informationsutvinning, särskilt för förståelse av nyckelvärden och tabelldokument där layouten har lika mycket betydelse som själva texten.
Akademiska och utgivna textdataset
Fulltextböcker och tidskriftsartiklar licensierade från ett akademiskt förlag och levererade via API, som täcker tolv ämnesområden inom fysik och teknik – astronomi, biomedicin, civilvetenskap, elektroteknik, energi, industri, materialvetenskap, mekanik, nanoteknik, fysik, polymervetenskap och säkerhetshantering. De passar vetenskaplig och teknisk förberedelse och sökning framför vetenskapligt granskat källmaterial.
Manusunderhållning och berättande text
Produktionsmanus, transkriptioner och berättande text hämtade från en stor katalog med manusbaserad underhållning som spänner över spelfilmer, tv, animation och vertikala mikrodraman, inom genrer som drama, komedi, science fiction, western, action, mysterium, romantik, thriller och tro. De stöder generering av berättande och dialog, modellering av manusformat och anpassning av manus till scen.
Vanliga frågor (FAQ)
1. Vad är textdatauppsättningar för AI-träning?
Textdatauppsättningar för AI-utbildning är kurerade samlingar av skrivet språk, såsom fråge- och svarspar, instruktioner, artiklar, kod, kliniska journaler, böcker och manus, som används för att förträna, finjustera och utvärdera stora språkmodeller (LLM) och NLP-system. Shaips textdatakatalog erbjuder licensierade datauppsättningar i åtta kategorier, var och en hämtad från verkligt material.
2. Vilka typer av textdatauppsättningar erbjuder Shaip?
Katalogen täcker åtta kategorier: konversationsbaserade fråge- och svarsdata och instruktionsdata, kod- och programvarudatabaser, nyheter och journalistisk text, kliniska fråge- och svarsdata och falldata, råtext och webbaserade korpusar, skannade dokumentkorpusar, akademisk och förlagstext samt manusbaserad underhållnings- och berättande text.
3. Vilka språk och dialekter omfattas?
Dataset finns tillgängliga på engelska, arabiska och spanska. Arabisk täckning inkluderar modern standardarabiska tillsammans med saudiska, emiratiska, egyptiska och levantinska dialekter, vilket hjälper modeller som hanterar MSA väl men kämpar med talade regionala varianter.
4. Vilka AI-användningsfall stöder dessa datamängder?
Vanliga användningsfall inkluderar förträning av juridik (LLM), instruktionsjustering och finjustering, modellutvärdering och benchmarking, retrieval-augmented generation (RAG), kodkomplettering och kodgranskning, AI inom hälso- och sjukvård, dokument-AI och informationsutvinning samt dialog- och manusgenerering.
5. Kan jag utvärdera en datauppsättning innan jag licensierar den?
Ja. Prover eller utvärderingsåtkomst kan ordnas innan du licensierar en datauppsättning, så att ditt team kan kontrollera passform, format och kvalitet. Kontakta oss med ditt användningsfall för att begära ett prov från relevant kategori.
6. Hur hanteras känsliga uppgifter som PII och PHI?
Där källmaterial innehåller personligt identifierbar eller skyddad hälsoinformation, som kliniska data, ingår borttagning, avidentifiering och maskering i uppdraget så att informationen uppfyller dina integritets- och efterlevnadskrav.
7. Vad är skillnaden mellan guld- och silverdataset?
Gyllene dataset är framtagna enligt en högre granskningsstandard och är bäst lämpade för benchmarking och utvärdering. Silverdataset genomgår standardgranskning och är väl lämpade för större utbildning där volym är viktigare.
8. Kan datamängderna anpassas eller utökas?
Ja. Dataset kan anpassas till ditt projekt efter språk, domän, volym eller format. Om katalogen inte täcker det du behöver kan Shaip samla in och kommentera anpassade textdata enligt dina specifikationer.
9. Vilka licensalternativ finns tillgängliga?
Licensiering är begränsad till varje engagemang baserat på dataset, volym, avsedd användning och varaktighet. Vissa dataset, såsom nyhetsinnehåll, är tillgängliga både som ett återkommande flöde och som en engångsarkivkorpus.
10. Hur levereras datamängderna?
Leveransen beror på datamängden. Alternativen inkluderar strukturerade filer, PDF-filer för skannade dokument, återkommande flöden för nyheter och API-leverans för akademiskt och utgivarinnehåll. Leveransformatet kan anpassas till din utbildningspipeline.
11. Hur mycket kostar textdataset?
Prissättningen beror på kategori, volym, exklusivitet och licensvillkor. Dela dina krav med vårt team för en offert skräddarsydd för ditt projekt.
12. Hur kommer jag igång?
Bläddra bland den kategori som matchar ditt användningsfall och kontakta sedan Shaip med dina krav. Vårt team kommer att dela information om datasetet, ordna exempel och fastställa en licens för ditt projekt.
