פורום אוצריא

@יום-חדש-מתחיל כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:

אז למה אתה משוטט כאן כ"כ הרבה?

תענוגות העוה"ז

@צדיק-וטוב-לו כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:

@צדיק-וטוב-לו כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:

@11 כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:
לגבי השכר האדיר שהבטחת במרום, אודה לקבלות ולתשלום מקדמה.

יש לך במקרה קשר לאוצה"ח?

אשמח לקבל התייחסות שלך לשאלתי.

שום קשר. אפילו לא כלקוח

@חנניה כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:

Spoiler

@11 כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:

מה שצריך זה ממשק נח לשימוש. לא הטכנולוגיה היא החסרה אלא הממשק הנח למשתמש.

@u88 כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:

עם יהיה שידרוג של החיפוש באוצריא בPDF

מה הדרמה הגדולה?
זה כזו התאמה ושינוי דרסטי בתוכנה? הממשק היום כמעט מתאים,- לפחות מבחינה עיצובית.

הדרמה היא לא בממשק ולא בהתאמות קטנות, אלא ביכולת לנהל נתונים עצומים בלי לקרוס בכל חיפוש קטן, או אפילו לפני.

@יום-חדש-מתחיל כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:

@11 כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:

לגבי השכר האדיר שהבטחת במרום, אודה לקבלות ולתשלום מקדמה.

אתה מאמין בשכר ועונש?
[או שלא הבנתי את תגובתך]

ואגב, כדאי לשמור על ניסוח מכבד. זכורני שגם אתה כתבת ל זה איכנשהו בפורום...

מאמין בשכר ועונש בלי שום פקפוק.
לא משוכנע שהמעשה המדובר הוא שמביא לשכר המובטח.

לא מדוייק שאי אפשר, יש דרכים ליצור תוספים.
אבל זה מוזר לגמרי לעשות תוספים כאלו, כרום מאפשרים תוספים כי משתמשים בזה מיליוני אנשים, וכל אחד עם הטעם שלו והצרכים שלו, ואי אפשר להכניס הכל לתוכנה אחת, כי אם יעשו כך תהיה תוכנה של עשרות ג'יגה אם לא יותר, ומערכת ההגדרות תהיה ארוכה כ-80 קילומטר (ר"ח נאה).
באוצריא משתמשים בסך הכל כעשרה מיליון איש (או פחות), וכולם רוצים פחות או יותר את אותם הדברים. הרבה יותר קל להכניס את זה כאפשרויות בתוכנה ולאפשר לכל אחד להגדיר איך שהוא רוצה את התוכנה.

@דאנציג כתב בבקשת מידע | למה אף אחד לא יוצר תוכנה כמו אוצר החכמה?:

קצת היסטוריה:
אוצרות התורה קדם לאוצר החכמה, כמאגר ספרים סרוקים לתורה, ללא מטרת רווח, ולכן התוכנה לא מתקרבת לאוצר החכמה.
אוצר החכמה התחילו עם המאגר של אוצרות התורה, והוסיפו סריקות של כל הספרים שהם הצליחו להשיג עליהם את ידם, בזמנו זה התקרב לרבע ממה שיש היום בהיברו וכו', אבל עם סייעתא דשמיא, השקעה בתוכנת חיפוש, וממשק נוח מהיר ומאיר, הם כבשו אט אט את השוק, עד שכהיום אוצרות התורה נמחק מהמפה.
מקים אוצרות התורה נפטר, ובניו החליטו לנסות לשווק את התוכנה שאביהם השקיע בה רבות בשביל הפצת תורה, אבל הם כבר איחרו את המועד, כך שאוצר החכמה כבש את השוק, ולא היה להם ריווחיות להשקיע.
בנוסף אוצר החכמה השקיעו באתר שמניב הכנסות נאות, פרסומת לתוכנה ולספרים, והתווסף לכך הקורונה שסגרה את האנשים בבתים דבר שהביא לחשיפה אדירה לאוצר החכמה לנגישות הספרים ונוחות החיפוש, כך שכיום הם השולטים בשוק.
כדי להנגיש אפילו את כל הספרים של היברובוקס, לא מספיק בתוכנה שתציג את הספרים, צריך ממשק מאיר עיניים, נגישות לתוכן, והפיצ'ר העיקרי והמסובך בזה לדעתי הוא חיפוש מהיר בתוכן הספרים ותצוגת תוצאות.
כמובן, מי שירים את הכפפה, ויבנה תוכנה שתתן את התפוקה שכרו יהיה אדיר במרום, ובוודאי שגם בעולם הזה הוא יזכה לראות פירות.

הבל הבלים
אוצרות התורה הוקם כמאגר לרווח, אבל לא כמאגר תורני אלא על ידי הדפסת ספרים שאזלו מן השוק למי שמוכן לשלם. ברווח נאה. עד היום אפשר למצוא ספרים שהודפסו על ידו.
אוצר החכמה לא השתמש במאגר הזה מעולם, הוא החל לסרוק בספריית יד הרב הרצוג, ומשם המשיך דומני לספריית מוה"ק ועוד ספריות.
אוצרות התורה לא איחרו את המועד, הם שיווקו את זה באותו הזמן. הם הפסידו את השוק בגלל חוסר פעילות וחוסר עדכונים, מאז העדכון האחרון שלהם עברו כ-8 שנים ללא עדכון. בכל הזמן הם טענו שהעדכון קרוב. הם עדיין טוענים שבקרוב ממש יהיה עדכון. אולי. לו יהי.

ולגבי שאר הטענות.
חיפוש מהיר במסמכים זו לא המצאה שלהם. וגם אם את שלהם הם פיתחו לבד, יש כיום אין סוף מודלים שונים לכל שלבי החיפוש, אין צורך בפיתוח מיוחד לזה, מה שצריך זה ממשק נח לשימוש. לא הטכנולוגיה היא החסרה אלא הממשק הנח למשתמש.

לגבי השכר האדיר שהבטחת במרום, אודה לקבלות ולתשלום מקדמה.

לא צריך מאגרי ספרים, זה כבר קיים וכל מי שרוצה יוריד מהיברובוקס או ממקורות אחרים, מה שצריך זה תוכנה נוחה עבורם. וההיגיון אומר שזה צריך להיות משולב באוצריא למי שמחזיק מאגר PDF. אוצריא כיום מאפשר לראות PDF אבל כבן חורג. משער שיום יבוא ומישהו עם הרבה מרץ יפתח כזה דבר עבור אוצריא

יש בספריא מידע ברוב הספרים

@דאנציג כתב בבירור | OCR לקבצי PDF לחיפוש בתוכנה:

@11 כתב בבירור | OCR לקבצי PDF לחיפוש בתוכנה:

(עירובין שם, שם),

???

Spoiler

אז אחרי הכל זה כן בינה מלאכותית, או שאתה משתמש במילון תורני?

זה על דרך הבדיחותא, היתול, שחוק, הלצה (הלוצ"ע בלע"ז). אם באמת אתה מחפש עיין בדף נ"ז ע"ב.

אבל לגופו של ענין ברור שאני עושה שימוש נרחב בבינה מלאכותית ורוב חכמתי הימנה, אצלינו בכולל לא הספיקו את כל מה שאני יודע, ובפרט לא בענייני מחשבים.

זה סתם שפה גבוהה. זה מושגים פשוטים.
בינארציה אדפטיבית זה לזהות את השחור ולבן בצורה ברורה יותר לפי אזור הטקסט. זה סתם שפה מודרנית לזיל בתר רובא (בגדרי רוב וקרוב, שיזהה כל נקודה לפי רוב האזור שהיא נמצאת בו).
אופרטור סובל זה גם סתם שפה גבוהה שבאה לבטא איפה נמצא הגבול של הטקסט בזוויות, זה בדיוק כמו דין עיר העשויה כקשת לענין תחום שבת (עירובין שם, שם), אז אותו דבר בדיוק בדף של PDF.
העקרון מאוד פשוט, זה ענין של מילון.

אין קשר. ההגנה היחידה שיש למכונים זה החוק נגד הפרת זכויות יוצרים. מי שרוצה להוציא ספר המחסום של סריקה או OCR או אפילו הקלדה לא יהיה אצלו מחסום בכלל.

לא יודע מה עצרת ב2023. העולם עדיין משתמש בכל אלו

@י.-פל. כתב בבירור | OCR לקבצי PDF לחיפוש בתוכנה:

@11

מיהו הAI המוכשר כל-כך?

אתה מזלזל בכישורים שלי?

לעשות OCR לספר, אין פשוט מזה, אסביר לך בשפה שווה לכל נפש:

בשביל תוצאה מקצועית אתה חייב לגשת ישר לסטרים של הקובץ ברמת הביט, צריך לחלץ את המידע הבינארי הגולמי ולבצע עליו ביטול כימות ידני כדי להימנע מארטיפקטים של דחיסה. אחרי שיש לך את המטריצה הגולמית, תפעיל מסנן מורפולוגי של פתיחה וסגירה כדי לנקות רעשי רקע סטוכסטיים, ומיד אחר כך תחשב את הגרדיאנטים עם אופרטור סובל כדי לבצע זיהוי קצוות וקטורי. רק אז תבצע בינאריזציה אדפטיבית מבוססת מקומותש תתחשב בשונות של הפיקסלים, אחרת הכל יצא לך מרוח בגלל חוסר תאימותפ אזה מרחבית.
בשלב השני, אתה בונה ארכיטקטורה של רשת עצבית רקורסיבית משולבת עם שכבות קונבולוציה, ומאמן אותה בשיטת על ערכת נתונים ייעודית שתייצר מהגופן של הספר עם אוגמנטציה של עיוותים גיאומטריים. את פלט ההסתברויות של הרשת תזרים לתוך אלגוריתם ויטרבי כדי למצוא את הרצף הסמנטי בעל הסבירות המקסימלית במרחב הוקטורי, ורק בסוף תבצע סריאליזציה חזרה לפורמט יוניקוד, בתנאי כמובן שהקצת נכון את הזיכרון במעבד הגרפי בזמן האינפרנס כדי לא לקבל גלישת מחסנית באמצע הריצה.

אבל היום יש גם תוכנות שעושות את כל זה לבד, אתה יכול להעזר בהן, יש ברחבי האינטרנט רבים כאלו חינמיים, כולל בעברית.

נ.ב. מכיר את הסיפור על וכו' שאמר שאם הוא שואל אם מותר לשתות חלב לארבע כוסות צריך לבדוק אם יש לו יין ובשר ומשמנים? ובכן גם כאן הרב אמר שאם יש לך ספר של 7000 עמודים, זה ודאי לא ספר סרוק, כי נפח כזה של ספר סרוק זה לא יפתח לך עעל מחשב נורמלי, ולכן בהכרח מדובר על קובץ וורד וכדומה שהפך לPDF, ללמדינו שמן הסתם כבר יש בו שכבת OCR.
ויהי לפלא.

כדאי לתת את הדעת על ענין שיש לו השלכות בזה, שיש הרבה הבדלים בין אותו ספר ממש. וההבדל בין חידושי הרמב"ן של מוה"ק לשל הירוקים לשל השחורים וכו' הם הבדלים עצומים. בבר אילן כתבו לכל ספר מה ההוצאה שלו. בספריא כנ"ל. בספריית אוצריא אם לא תהיה מדיניות כזו (בהנחה שלא יהיה קישור לPDF), צריך להתוות קו ברור איך בוחרים ספר.

@י.-פל. כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:

@יום-חדש-מתחיל כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:

כל זמן שאוצריא לא נותנת למשתמשים את קבצי ה PDF אין שום משמעות לדבריך.

אבל אפשר לעבור להיברובוקס.

כמו עד היום. מי לינק למעבר לעמוד המסויים. מי שיש לו על המחשב יוכל לפתוח ישירות

@הבל-הבלים כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:

@11 לא הבנתי את דבריך בכלל.
אנחנו לא הולכים להכניס לתוכנה קובץ PDF, אז איפה אתה חושב יאוחסן ה PDF עם הקישורים לטקסט? מי יזהה טעות? מי יבדוק את זה?
ולמה שלא יוציא את הספר מהארון, יפתח סימןX ס"ק Y, ויבדוק את המקור? למה צריך אאת מה שממנו עשו את הטקסט?

אסביר.
נניח שאני פותח כעת חוות דעת ורואה מילה שנראית לי משובשת. אם יש לי על המחשב את הPDF שממנו זה נעשה, ואני יכול בלחיצת כפתור קטנה לעבור למיקום המדוייק, אני מתקן את זה ברגע אחד. אם אני צריך ללכת לארון, ולגלות שאין לי את הספר, ואז ללכת לבית כנסת הסמוך לחפש, אבל גם שם אין, אז לפחות עוצר לשתות קפה, ואז מגיע זמן מעריב, ואחרי מעריב חוזר ושוכח מה רציתי, הסיכוי שמישהו יתקן משהו הוא אפסי עד מינוס.

@יום-חדש-מתחיל כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:

@11 לא חושב שרלוונטי להגדיר לפי מיקום בהוצאה ישנה כזו,
ואם מישהו ישיג PDF יותר טוב,
בסופו של דבר תמיד ניתן להגדיר ב PDF כותרות כמו בטקסט, לפי סימנים וכדו', ואז זה יעביר למיקום המדוייק,
ובקיצור, העבודה במקרה הזה צריכה להיות על ה PDF ולא על הטקסט.

אגב, עבודה כזו כבר עשה @יהודי-צעיר על המשנה ברורה לדוגמא [וגם על עוד ספרים] נמצא במאגר הגיטאהב של @יאיר-דניאל ר

אם כל הטקסטים יהיו ישנים, אתה צודק. אבל יש טקסטים טובים.
ומלבד זאת, הגדרת סימן כל שהוא למעברי שורות ועמודים הוא דבר מאוד קל כיום, כל שינוי בתוכנית יעלה ביוקר רב. לא חבל?

@הבל-הבלים כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:

@11 המטרה שלנו היא להשיג טקסט, לא PDF עם שכבת טקסט.
התוכנה מבוססת על מאגר טקסט.

מקובל, אתה בעל הבית, עשה כהבנתך.
רק משקף לך שני דברים מהותיים.

1. אם יום אחד תחחרט הקושי יהיה מטורף. היום זה קל מאוד.
2. אם תמצא טעות בטקסט, הקושי לאתר את המקור כדי לוודא שזה טעות, הוא עצום. אם אתה מזהה מיקום מדוייק אתה יכול בשניה אחת לבדוק ולתקן.

@יום-חדש-מתחיל כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:

@11 כתב בבעיה | חסרה הדרכה בסיסית לספרים בעלי כמה מפרשים:

כעת זה בקלות מאוד ליצור קישור כזה,

איך?

האפשרות הקלההקיימת כיום, היא לסמן מעברי עמודים גם אחרי שמאחדים את הטקסט לקבצים שלמים (לפי מספרי הPDF), ואז להגדיר בקלות שיפתח את הPDF בעמוד הנכון. האפשרות הזו תשאר כל זמן שהטקסטים יהו פר עמוד. את זה אפשר לעשות גם תכנותית כעת ודי בקלות.
הבעיה היא שזה ידע לפתוח את העמוד אבל לא לסמן את המילים הנכונות, ובפרט בחיפוש מורכב במרחקי מילים ובהחלפת אותיות, זה מאבד הכל (אא"כ הכוונה שהPDF ישמש רק כגיבוי לשעת חירום ולבדיקות, שאז זה לא נורא). בשביל סימון המילים סטייל אוצר החכמה צריך להחליף את הטקסט המקורי בשכבת פענוח. בשביל זה צריך כבר כעת שהפענוח יסמן שכבת קואורדינטות, כלומר שתיקון מילה לא יהיה סתמי אלא שידע בדיוק איזה מילה הוא מתקן, ומשם להמשיך הלאה.
אפשרות שניה ופחות מומלצת היא שלא לעשות את זה אלא אחר כך להריץ סקריפט שיזהה לפי הOCR הקיים מיקומי מילים ויתקן את השכבת טקסט, בספרים ישנים זה צפוי לפורענויות.
אפשרות שלישית, אולי הכי קלה, אבל צריך לחשוב היטב על ההשלכות שלה ועל הקושי בשימוש הלאה, לוותר על שכבת הפענוח לגמרי, ולשמור על מעברי השורות, ואחר כך לנסות להגדיר שיחליף טקסט משורה לשורה בלי לבחון טקסט. (הייתי מנסה להגדיר אחרת בכזה מצב, שיבחן את גודל הטקסט, יחלק למספר השורות שיש בעמוד, ויסמן נ.צ. משוער ולא מדוייק, שזה יתן לרוב פענוח מוחלט, ויחסוך במקביל נפח אדיר למחזיקי קבצי PDF כי לא יהיה צורך בשכבת טקסט כלל). לא בטוח שזה יעבוד טוב, וצריך לחשוב על הכשלים.