במסגרת איזה בדיקה שגרתית, שמתי לב בסופ" שאתר המראה של פדורה לא התעדכן כבר כמעט חודש. פאק לא נעים, אבל אני מניח שהעיסק באוגוסט פינגווין עשה את שלו.
אתר המראה שסיפק את הקבצים חסם לי את הגישה וסירב לחיבורים. כתוצאה מבעיה בסקריפט, גם לא קיבלתי התראות על הבעיה (תירוצים… אני יודע). בכל מקרה הנושא תוקן.
החלטתי לנצל את ההזדמנות כדי לעבור לסנכרן מאתר מראה יותר רשמי של פדורה, ואחרי סידור ההרשאות המתאימות (יש יתרונות להיות אתר מראה רשום), יכולתי לקבל גישה לאחד מהשרתים בשכבה השניה של אתרי המראה של הפרוייקט.
הסנכרון האחרון היה שהסתיים תקין היה קצת אחרי השחרור של פדורה 13, ומאז יצאו לא מעט עדכונים לחבילות וגרסת אלפא של פדורה 14 מהימים האחרונים. סה"כ לא מעט שינויים. סנכרון כזה טבעו שיקח זמן, ובסופו של דבר לקח כמעט 36 שעות.
רציתי להביא כאן את הפלט של סיכום הריצה של rsync מאחר ומדובר באמת בעדכון משמעותי. נפח אתר המראה הוא 540GB (וזה עוד אחרי סינון שאני עושה לגרסאות ישנות כדי לחסוך במקום). גודל העדכון הוא 70GB.
מתוך ה-70GB שצריך לעדכן, נמצא מידע תואם של 20GB ולכן נשאר להעביר 50GB "בלבד". המידע שנמצא תואם זה במקרים רבים קבצים שרק חלקים מהם השתנו או שקבצים שיש מידע (חלקי) זהה בקבצים בעלי שם דומה באותה ספריה.
Number of files: 314534
Number of files transferred: 27801
Total file size: 543.18G bytes
Total transferred file size: 71.46G bytes
Literal data: 50.55G bytes
Matched data: 20.91G bytes
File list size: 11.88M
File list generation time: 17.495 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 81.56M
Total bytes received: 50.59G
sent 81.56M bytes received 50.59G bytes 621.96K bytes/sec
total size is 543.18G speedup is 10.72
לפני שנה וחצי, הבנתי שצריך לעדכן את רשימת אתרי המראה בארץ. ואפילו פרסמתי בקשת עזרה כי לא הגעתי לבצע את זה בעצמי. היום, בשעה טובה, פניתי קצת זמן ויצרתי רשימה עדכנית של אתרי מראה בישראל.
ההבדל הוא שאז (לפני שנה וחצי) הייתי צריך לערוך את רשימת האתרים ב-HTML ולעדכן בשני אתרי המראה שאני מתחזק (העמותה ואיגוד האינטרנט). אך מאז הצטרף הוויקי לרשימת כלי העבודה של העמותה, וזהו בהחלט המקום לרשימת שכזאת שצריכה להתעדכן באופן תדיר.
תוך כדי התיעוד גם גליתי כמה אתרי מראה שלא ידעתי עליהם, כך שאני בכלל מרוצה מהתוצאה (לא ידעתי של-Apache יש שלושה אתרי מראה בארץ). ועל הדרך גם תיעדתי איזה מהאתרים מופיעים ברשימות של הפרוייקטים ואיזה קיבלו כתובת רשמית של הפרוייקט.
כדי לסגור את הסיפור, מחקתי את הרשימות משני אתרי המראה שאני מתחזק ושמתי קישור לעמוד בוויקי. כך שמהיום לעדכן צריך רק פעם אחת ובקלות.
מאחר ואנחנו בעיצמו של גל שחרורי גרסאות חדשות (מנדריבה, אובונטו, אופן סוזה ופדורה), אתר המראה מנסה לעמוד בקצב כדי לספק את הקבצים. הדבר מאוד תלוי במדיניות של ההפצות לגבי אתרי המראה.
חלק מההפצות מזרימות את הקבצים מראש לאתרי המראה כדי לאפשר זמינות מיידית שלהם עם הודעת השחרור, הפצות אחרות משחררות את הקבצים רק לאחר הודעת השחרור ובכך גורמות לעיכוב של כמה ימים בשחרור הקבצים לאתרי המראה.
כמובן שיש גם תלות בהגדרות של אתרי המראה אצלנו, חלקים יקבלו כל שינוי שקורה באתרים בחו"ל, ועבור חלקם יש צורך להכליל גרסאות ספציפיות (מה שאומר שינוי ידני עבור כל גרסה חדשה שיוצאת).
המצב כרגע:
- אובונטו 9.10 – סונכרן (בוצע סנכרון מקדים).
- אופן סוזה 11.2 – סונכרן.
- מנדריבה 2010.0 – בתהליך סנכרון.
- פדורה 12 – בתהליך סנכרון (תהליך מקדים לשחרור).
נתון מעניין: נפח התעבורה היוצאת מאתר המראה עומדת על אזור ה-4.5 טרה בחודש.
אתמול (29/10) יצאה גרסה חדשה של אובונטו, והביקוש בשמיים… אפילו הקווים של איגוד האינטרנט לאתר המראה לא עמדו בעומס והשרת הורד כדי לסדר הגבלת רוחב פס. אני מאוד מקווה שאובונטו יעבור לשחרר את קבצי ה-ISO שלהם דרך bittorrent בלבד כדי לחסוך את הבלאגן הזה בגרסה הבאה.
לקראת השחרור, קצב העדכונים הועלה מפעם ביום לכל שעתיים, וזאת כדי לאפשר פרסום מהיר של הקבצים. לשמחתי אובונטו חשבו על העניין מראש, והקבצים עצמם הגיעו עוד לפני השחרור, ורק עם ההכרזה הם נהפכו לנגישים לציבור.
אני מקווה שאפשר יהיה להתארגן לעניין טוב יותר בפעם הבאה, כדי לאפשר לכולם להנות מהקבצים עוד ביום ההכרזה. שדרוג מהנה (:
בהמשך לשיפורים שנעשו לפני כחודש באתר המראה, אני שמח לפרסם עוד שיפור קטן, והוא חשיפת זמן העדכון האחרון לכולם. בספריה info תוכלו למצוא עבור כל אתר מראה שמתעדכן, קובץ המכיל את התאריך עדכון התקין האחרון שבוצע. אני מקווה בקרוב ליצור דף קצת יותר מסודר שיכיל את אותו מידע בצורה נעימה לעין.
לפני אוגוסט פינגווין הגשתי בקשה להפוך את אתר המראה של האיגוד לאתר המראה הרשמי של אובונטו בארץ, אך לצערי לוקח לחבר'ה באובונטו הרבה זמן להגיב ולכן אין חדש בנושא. מאוד רציתי להפתיע עם הודעה על הנושא באוגוסט פינגווין, אבל זה לא יצא. כל ההגדרות הטכניות בצד של איגוד האינטרנט כבר בוצעו מזמן…
בימים אלה אני מנסה לבדוק הקמה של שרת Rsync. מי שמעוניין בשירות כזה, מתבקש להשאיר תגובה לפוסט זה, כדי שאוכל "להוכיח" את הביקוש. מבחינתי, מעבר למשתמשי ג'נטו, מדובר במתן אפשרות לאתרי מראה נוספים בארץ להסתנכרן מולנו במקום מול אתרים בחו"ל. יעיל גם למי שרוצה להחזיק אתר מראה פרטי.
העדכון מהחודש שעבר הוכיח את עצמו, וכמות הסנכרונים שנכשלים ירדה משמעותית. מלבד מספר עומסים בשרתים בחו"ל, אין סנכרונים שנכשלים בגלל בעיות בצד של אתר המראה שלנו. עדכון לחלק מאתרי המראה, קיצרו את זמן הסנכרון, והאפשרויות שנוספו מאפשרות עקביות בחומר המוצע למשתמשים לאורך הסנכרון. בקיצור, השירות השתפר. מקווה שכולם מרגישים כך, ואם לא – אשמח לשמוע.
בעקבות בעיות הסנכרון שהיו בחודש שעבר, ומאז חזרתו של האתר לפעילות תקינה, השקעתי ב-3 שבועות האחרונים זמן בשיפור הסנכרונים של אתר המראה. התוצאות העיקריות הן קיצור זמן הסנכרון ושיפור העדכניות של מספר הפצות, כמו גם עקביות גדולה יותר עבור המשתמשים שמריצים עדכוני תוכנה מול אתר המראה.
מספר הפצות סבלו מזמני סנכרון ארוכים והן בעיקר דביאן, פדורה ו-archlinux. עבור השתיים הראשונות בוצעה החלפה של אתר המראה בחו"ל, בעוד שעבור archlinux אין תחליף טוב. כדי להתגבר על כך, שיחקתי עם זמני הסנכרון כדי לאפשר להפצות "האיטיות" חלונות סנכרון ארוכים יותר ובלי סנכרון של עוד הפצות במקביל.
הפצות שמכילות עדכוני תוכנה משתנות באופן יומי (ואף יותר), וכתוצאה מזמן סנכרון ארוך יתכן מצב בו קבצי האינדקס של החבילות סונכרנו בעוד החבילות עצמן לא קיימות (עדיין) באתר המראה. הדבר בולט במיוחד כאשר יש עדכונים ארוכים או גדולים (בשניהם זמן העדכון גדול).
כפתרון לכך הוכנסה לשימוש האופציה delay-updates של rsync שדואגת שעדכונים לקבצים קיימים יכתבו לספריות זמניות. המשמעות היא שקבצי האינדקס של החבילות אינם מתעדכנים עד לאחר סיום תקין של הסנכרון. התוצאה היא שיכולת הסנכרון של משתמשים נשמרת לאורך כל תהליך עדכון אתר המראה ואינה "נשברת" יותר.
בשלב הבא, אני מקווה להציג למשתמשים את זמן העדכון התקין האחרון של כל הפצה באתר המראה. אשמח לשמוע על בקשות נוספות לגבי שיפור השירות באתר המראה.
הבעיה בעדכניות אתר המראה, שפורסמה לפני שבועיים, נפתרה השבוע. בשבוע האחרון, אתר המראה מריץ את כל הסנכרונים של אתרי המראה בצורה תקינה וללא בעיות חריגות. מאחר והגורם לבעיה אינו ידוע, לא אוכל לשפוך אור על התקלה.
הפצות הלינוקס השונות (arch, centos, debian, fedora, gentoo, mandriva, opensuse, ubuntu) מתעדכנות פעמיים ביום, בהפרש של 12 שעות. שאר המאגרים מתעדכנים פעם ביום.
שימוש מהנה.
אתר המראה של איגוד האינטרנט סובל בימים האחרונים מבעיה בסנכרון הקבצים מול אתרי המראה בחו"ל, דבר המשפיע על עדכניות הקבצים בו (בעיקר על העדכונים היומיים בחלק מהפצות הלינוקס).
הבעיה אינה משפיעה על קבצים שאינם מתעדכנים בתדירות יומית, כגון הגרסאות היציבות של הפצות הלינוקס או חומרים קבועים אחרים.
עם פתרון הבעיה, תפורסם הודעה על כך.
כשנתיים לאחר הגדלה האחרונה, מגדיל איגוד האינטרנט את אתר המראה שלו ביותר מפי 2, וכעת נפתח אתר המראה הוא 3.3TB. ההגדלה מגיעה לאחר תקופה ארוכה של ניצולת מקום של מעל ל-90%. אני אנצל את ההזדמות להודות לעוסקים במלאכה באיגוד האינטרנט, שעושים את עבודתם מאחורי הקלעים ובנאמנות.
$ df -h /home/
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vg1-home 3.3T 1.3T 1.9T 40% /home
כמו כן, אזכיר כי אני תמיד פתוח לבקשות מראה חדשות, כאשר הדרישה הבסיסית היא הוכחה כי קיימת דרישה לאתר המראה המוצע (לדוגמה, פתיל עם הרבה חתומים בפורום). כמו כן, לפעמים תדרש עזרה לגבי הצד הטכני של הקמת אתר המראה ו/או תיווך לפרוייקט המקור. ניתן למצוא את פרטי יצירת הקשר בדף הראשי של אתר המראה.
יצירתי הבוקר אתר מראה לפרוייקט אופן אופיס העולמי בכתובת http://mirror.isoc.org.il/pub/openoffice.org וזאת כדי להקל על הורדת התוכנה (100-150 מגה).
אתר המראה מכיל את עץ הפיתוח היציב (stable), שכולל את שתי הגרסאות הגדולות האחרונות (כרגע 2.4.2 ו-3.0.1). האתר מתעדכן פעם ביום, ויאפשר הורדה מהירה יותר של גרסה 3.1 לכשזאת תשוחרר.
דיווח על אתר המראה נשלח לפרוייקט, ואני מקווה שהוא יופיע בקרוב ברשימת אתר המראה.
בהזדמנות זאת, אני מזכיר כי קיים גם אתר מראה לגרסה העברית של אופן אופיס (מבית טק מערכות) בכתובת: http://mirror.isoc.org.il/pub/openoffice.org.il
תגובות אחרונות