ארכיון

Posts Tagged ‘אתר מראה’

ניתוח העומס על אתר המראה

חמישה ימים עברו מאז שיצאה גרסה 11.04 של אובונטו (וגם גרסה 4.0.1 של פיירפוקס), ורק עכשיו נראה שהעומס על השרת מתחיל לרדת. העומס אינו משאבי מחשב (מעבד, זיכרון וכו') אלא ניצול מלא של רוחב הפס היוצא של השרת (כ-12MB לשניה לרשת הישראלית). אנשי איגוד האינטרנט הסכימו לשחרר את הנתוני התעבורה של השרת לציבור הרחב, והם זמינים בכתובת http://mirror.isoc.org.il/mrtg

עכשיו, שהמידע זמין, אני רוצה קצת להסביר את הגרפים השונים:

  • הגרף השנתי מראה את העליה האיטית אך הקבוע בשימוש באתר המראה. באפריל שנה שעבר המומצע היומי עמד על 3MB והשנה הוא כבר עומס על 6MB. מי שיציץ בגרף יראה כי כמה נקודות שיא מקומיות, ונקודת השיא הכללית היא מהימים האחרונים. יש לנו שם באופן בולט את אובונטו 10.4, 10.10 ו-11.04. גם פדורה דיי בולטת בסוף מאי ותחילת נובמבר. מדריבה 2010.1 עם שיא בסוף יוני ואופן סוזה בתחילת יולי ובמרץ.
  • הגרף החודשי מראה בעיקר את השגרה הדיי ברורה של אתר המראה, עם שיא תנועה באזור חצות ולאחריו ירידה בתנועה למשך הלילה והתחדשות התנועה באזור 8 בבוקר עד לשיא לקראת סוף היום וטיפה אחרי חצות.
  • הגרף השבועי מאפשר לראות את העומס והשינוי בדרישות מאתר המראה בשבוע האחרון, כאשר התעבורה האופניינית היא קצת פחות מ-9MB במהלך רוב היום לפני העומס ובמהלכו ה-9MB היווה את נקודת המינימום של שבת עם שיפור קל בראשון ושני. בשישי היה עומס דיי קבוע שלא ירד מאזור ה-11 או 12MB.

עומס על אתר המראה

30/04/2011 11 תגובות

ביומיים האחרונים אני מקבל תלונות לגבי איטיות של אתר המראה של איגוד האינטרנט ועמותת המקור. הסיבה העיקרית היא עומס שנובע משחרור כפול של אובונטו ומוזילה. עבור שני הגופים האלה אנחנו מהווים אתר מראה רשמי ומקבלים תנועה שמקורה בישראל.

אני מאוד מרוצה מהעובדה שיש עומס כתוצאה משחרור של גרסה חדשה – סימן שאנשים משתמשים בשירות שלנו ואנחנו לא עובדים לחינם. אבל מצד שני, צריך לזכור כי יש שרת עיקרי שמספק את רוב התעבורה בארץ. אולי הגיע הזמן שעוד כמה אתרי מראה נוספים יכנסו לעניינים באופן משמעותי יותר.

מי שמתלונן על מהירות הורדה מזעזעות של קבצי ISO גדולים, מומלץ שיוריד את הקבצים ע"י P2P כדי להקל לכולם על החיים, וגם כדי לתרום קצת מרוחב הפס שלו לעניין. אפשרות נוספת היא שימוש ב-Jigdo לשם בניית קובץ ה-ISO מתוך קבצי החבילות עצמם.

נ.ב.

עוד לא נתקלתי במישהו שהפסקה של 24-48 שעות בעדכוני החבילות הרגו אותו. תפסיקו להיות קטנוניים.

סודרה תקלה באתר המראה של פדורה

במסגרת איזה בדיקה שגרתית, שמתי לב בסופ" שאתר המראה של פדורה לא התעדכן כבר כמעט חודש. פאק לא נעים, אבל אני מניח שהעיסק באוגוסט פינגווין עשה את שלו.

אתר המראה שסיפק את הקבצים חסם לי את הגישה וסירב לחיבורים. כתוצאה מבעיה בסקריפט, גם לא קיבלתי התראות על הבעיה (תירוצים… אני יודע). בכל מקרה הנושא תוקן.

החלטתי לנצל את ההזדמנות כדי לעבור לסנכרן מאתר מראה יותר רשמי של פדורה, ואחרי סידור ההרשאות המתאימות (יש יתרונות להיות אתר מראה רשום), יכולתי לקבל גישה לאחד מהשרתים בשכבה השניה של אתרי המראה של הפרוייקט.

הסנכרון האחרון היה שהסתיים תקין היה קצת אחרי השחרור של פדורה 13, ומאז יצאו לא מעט עדכונים לחבילות וגרסת אלפא של פדורה 14 מהימים האחרונים. סה"כ לא מעט שינויים. סנכרון כזה טבעו שיקח זמן, ובסופו של דבר לקח כמעט 36 שעות.

רציתי להביא כאן את הפלט של סיכום הריצה של rsync מאחר ומדובר באמת בעדכון משמעותי. נפח אתר המראה הוא 540GB (וזה עוד אחרי סינון שאני עושה לגרסאות ישנות כדי לחסוך במקום). גודל העדכון הוא 70GB.

מתוך ה-70GB שצריך לעדכן, נמצא מידע תואם של 20GB ולכן נשאר להעביר 50GB "בלבד". המידע שנמצא תואם זה במקרים רבים קבצים שרק חלקים מהם השתנו או שקבצים שיש מידע (חלקי) זהה בקבצים בעלי שם דומה באותה ספריה.

Number of files: 314534
Number of files transferred: 27801
Total file size: 543.18G bytes
Total transferred file size: 71.46G bytes
Literal data: 50.55G bytes
Matched data: 20.91G bytes
File list size: 11.88M
File list generation time: 17.495 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 81.56M
Total bytes received: 50.59G

sent 81.56M bytes received 50.59G bytes 621.96K bytes/sec
total size is 543.18G speedup is 10.72

:קטגוריותFedora, Hamakor תגיות:

רשימת אתרי מראה בישראל

לפני שנה וחצי, הבנתי שצריך לעדכן את רשימת אתרי המראה בארץ. ואפילו פרסמתי בקשת עזרה כי לא הגעתי לבצע את זה בעצמי. היום, בשעה טובה, פניתי קצת זמן ויצרתי רשימה עדכנית של אתרי מראה בישראל.

ההבדל הוא שאז (לפני שנה וחצי) הייתי צריך לערוך את רשימת האתרים ב-HTML ולעדכן בשני אתרי המראה שאני מתחזק (העמותה ואיגוד האינטרנט). אך מאז הצטרף הוויקי לרשימת כלי העבודה של העמותה, וזהו בהחלט המקום לרשימת שכזאת שצריכה להתעדכן באופן תדיר.

תוך כדי התיעוד גם גליתי כמה אתרי מראה שלא ידעתי עליהם, כך שאני בכלל מרוצה מהתוצאה (לא ידעתי של-Apache יש שלושה אתרי מראה בארץ). ועל הדרך גם תיעדתי איזה מהאתרים מופיעים ברשימות של הפרוייקטים ואיזה קיבלו כתובת רשמית של הפרוייקט.

כדי לסגור את הסיפור, מחקתי את הרשימות משני אתרי המראה שאני מתחזק ושמתי קישור לעמוד בוויקי. כך שמהיום לעדכן צריך רק פעם אחת ובקלות.

:קטגוריותHamakor, ISOC-IL, Israeli Community תגיות:

אתר מראה רשמי ל-CentOS

אתר המראה של CentOS קיים כבר תקופה ארוכה במסגרת אתר המראה של עמותת המקור ואיגוד האינטרנט. למרות זאת, בתקופה האחרונה גיליתי כי האתר נעדר מהרשימות של CentOS עצמם ואין הפניה אליו לשם הורדות (וחבל) או עדכוני חבילות.

נדרשו מספר פניות כדי שהם ישימו לב לעניין, והחל מיום שישי מופיע ברשימת אתרי המראה של ההפצה ומנוטר ע"י ההפצה.

במהלך הבדיקות, נחשפתי לגם לשילוב של מנגנון אתרי המראה במערכת החבילות, כאשר ההפניה להורדת חבילות מבוצעת לא לאתר מראה סטטי אלא לסקריפט של CentOS שמחזיר למנהל החבילות רשימה של אתרי מראה על פי מיקום גיאוגרפי (GeoIP) ועל פי רמת העדכניות שלהם. לדוגמה, רשימת אתרי המראה עבור החבילות של מערכת ההפעלה עבור x86_64.

:קטגוריותISOC-IL, RedHat תגיות:

עדכוני מוזילה מאתר מראה ישראלי

24/07/2010 4 תגובות

גרסה 3.6.8 של פיירפוקס שוחררה אתמול בנוהל מזורז. ההודעה למנהלי אתרי המראה יצאה במקביל לשחרור הקבצים (אך טיפה לפי ההכרזה הרשמית). מאחר והעדכון נראה דחוף מספיק כדי לשחרר אותו זמן כל כך קצר אחרי 3.6.7, דאגתי לסנכרון מיידי של אתר המראה של מוזילה על גבי השרת של איגוד האינטרנט.

עניתי בחזרה לחבר'ה של מוזילה על כך שהעדכון הסתיים תקין עבור האתר מראה הישראלי. בתגובה, הוכנס שיפור לתוכנה של מוזילה שאחראית על הפניית ההורדות לאתרי המראה על בסיס מיקום גיאוגרפי. רוב התנועה מישראל תופנה מעכשיו והלאה לאתר המראה הישראלי במקום לחו"ל, דבר שצפוי לקצר באופן משמעותי את זמן ההורדה.

תומר עודכן בנעשה, והשינוי אף מופיע בהודעה של מוזילה ישראל לגבי גרסה 3.6.8. אני מקווה לקבל דיווחים חיוביים לגבי קיצור זמן ההורדה.

:קטגוריותISOC-IL, Mozilla תגיות:

עדכונים מאתר המראה של איגוד האינטרנט

14/11/2009 10 תגובות

מאחר ואנחנו בעיצמו של גל שחרורי גרסאות חדשות (מנדריבה, אובונטו, אופן סוזה ופדורה), אתר המראה מנסה לעמוד בקצב כדי לספק את הקבצים. הדבר מאוד תלוי במדיניות של ההפצות לגבי אתרי המראה.

חלק מההפצות מזרימות את הקבצים מראש לאתרי המראה כדי לאפשר זמינות מיידית שלהם עם הודעת השחרור, הפצות אחרות משחררות את הקבצים רק לאחר הודעת השחרור ובכך גורמות לעיכוב של כמה ימים בשחרור הקבצים לאתרי המראה.

כמובן שיש גם תלות בהגדרות של אתרי המראה אצלנו, חלקים יקבלו כל שינוי שקורה באתרים בחו"ל, ועבור חלקם יש צורך להכליל גרסאות ספציפיות (מה שאומר שינוי ידני עבור כל גרסה חדשה שיוצאת).

המצב כרגע:

  • אובונטו 9.10 – סונכרן (בוצע סנכרון מקדים).
  • אופן סוזה 11.2 – סונכרן.
  • מנדריבה 2010.0 – בתהליך סנכרון.
  • פדורה 12 – בתהליך סנכרון (תהליך מקדים לשחרור).

נתון מעניין: נפח התעבורה היוצאת מאתר המראה עומדת על אזור ה-4.5 טרה בחודש.

אובונטו 9.10 באתר המראה של איגוד האינטרנט

30/10/2009 6 תגובות

אתמול (29/10) יצאה גרסה חדשה של אובונטו, והביקוש בשמיים… אפילו הקווים של איגוד האינטרנט לאתר המראה לא עמדו בעומס והשרת הורד כדי לסדר הגבלת רוחב פס. אני מאוד מקווה שאובונטו יעבור לשחרר את קבצי ה-ISO שלהם דרך bittorrent בלבד כדי לחסוך את הבלאגן הזה בגרסה הבאה.

לקראת השחרור, קצב העדכונים הועלה מפעם ביום לכל שעתיים, וזאת כדי לאפשר פרסום מהיר של הקבצים. לשמחתי אובונטו חשבו על העניין מראש, והקבצים עצמם הגיעו עוד לפני השחרור, ורק עם ההכרזה הם נהפכו לנגישים לציבור.

אני מקווה שאפשר יהיה להתארגן לעניין טוב יותר בפעם הבאה, כדי לאפשר לכולם להנות מהקבצים עוד ביום ההכרזה. שדרוג מהנה (:

המשך שיפורים באתר המראה של איגוד האינטרנט

13/09/2009 3 תגובות

בהמשך לשיפורים שנעשו לפני כחודש באתר המראה, אני שמח לפרסם עוד שיפור קטן, והוא חשיפת זמן העדכון האחרון לכולם. בספריה info תוכלו למצוא עבור כל אתר מראה שמתעדכן, קובץ המכיל את התאריך עדכון התקין האחרון שבוצע. אני מקווה בקרוב ליצור דף קצת יותר מסודר שיכיל את אותו מידע בצורה נעימה לעין.

לפני אוגוסט פינגווין הגשתי בקשה להפוך את אתר המראה של האיגוד לאתר המראה הרשמי של אובונטו בארץ, אך לצערי לוקח לחבר'ה באובונטו הרבה זמן להגיב ולכן אין חדש בנושא. מאוד רציתי להפתיע עם הודעה על הנושא באוגוסט פינגווין, אבל זה לא יצא. כל ההגדרות הטכניות בצד של איגוד האינטרנט כבר בוצעו מזמן…

בימים אלה אני מנסה לבדוק הקמה של שרת Rsync. מי שמעוניין בשירות כזה, מתבקש להשאיר תגובה לפוסט זה, כדי שאוכל "להוכיח" את הביקוש. מבחינתי, מעבר למשתמשי ג'נטו, מדובר במתן אפשרות לאתרי מראה נוספים בארץ להסתנכרן מולנו במקום מול אתרים בחו"ל. יעיל גם למי שרוצה להחזיק אתר מראה פרטי.

העדכון מהחודש שעבר הוכיח את עצמו, וכמות הסנכרונים שנכשלים ירדה משמעותית. מלבד מספר עומסים בשרתים בחו"ל, אין סנכרונים שנכשלים בגלל בעיות בצד של אתר המראה שלנו. עדכון לחלק מאתרי המראה, קיצרו את זמן הסנכרון, והאפשרויות שנוספו מאפשרות עקביות בחומר המוצע למשתמשים לאורך הסנכרון. בקיצור, השירות השתפר. מקווה שכולם מרגישים כך, ואם לא – אשמח לשמוע.

שיפורים באתר המראה של איגוד האינטרנט

13/08/2009 6 תגובות

בעקבות בעיות הסנכרון שהיו בחודש שעבר, ומאז חזרתו של האתר לפעילות תקינה, השקעתי ב-3 שבועות האחרונים זמן בשיפור הסנכרונים של אתר המראה. התוצאות העיקריות הן קיצור זמן הסנכרון ושיפור העדכניות של מספר הפצות, כמו גם עקביות גדולה יותר עבור המשתמשים שמריצים עדכוני תוכנה מול אתר המראה.

מספר הפצות סבלו מזמני סנכרון ארוכים והן בעיקר דביאן, פדורה ו-archlinux. עבור השתיים הראשונות בוצעה החלפה של אתר המראה בחו"ל, בעוד שעבור archlinux אין תחליף טוב. כדי להתגבר על כך, שיחקתי עם זמני הסנכרון כדי לאפשר להפצות "האיטיות" חלונות סנכרון ארוכים יותר ובלי סנכרון של עוד הפצות במקביל.

הפצות שמכילות עדכוני תוכנה משתנות באופן יומי (ואף יותר), וכתוצאה מזמן סנכרון ארוך יתכן מצב בו קבצי האינדקס של החבילות סונכרנו בעוד החבילות עצמן לא קיימות (עדיין) באתר המראה. הדבר בולט במיוחד כאשר יש עדכונים ארוכים או גדולים (בשניהם זמן העדכון גדול).

כפתרון לכך הוכנסה לשימוש האופציה delay-updates של rsync שדואגת שעדכונים לקבצים קיימים יכתבו לספריות זמניות. המשמעות היא שקבצי האינדקס של החבילות אינם מתעדכנים עד לאחר סיום תקין של הסנכרון. התוצאה היא שיכולת הסנכרון של משתמשים נשמרת לאורך כל תהליך עדכון אתר המראה ואינה "נשברת" יותר.

בשלב הבא, אני מקווה להציג למשתמשים את זמן העדכון התקין האחרון של כל הפצה באתר המראה. אשמח לשמוע על בקשות נוספות לגבי שיפור השירות באתר המראה.