האדריכל הוותיק דני שוורץ, שתכנן את 'בית פנורמה', זועם על תוכניתו של רוברט סיבוני להקים בבניין מועדון ובית קפה, שיחוברו באמצעות דלתות כניסה חדשה מרחוב אילות ומלובי הבניין: "הדבר יפגע ביופיו ובאופיו הייחודי של הבית ויגרום לו נזק בלתי הפיך". "פסלו של אחי, האמן הנודע בוקי שוורץ ז"ל, ייהרס". היועצת המשפטית של העירייה: "טענות האדריכל עלולות להתקבל בבית המשפט". רוברט סיבוני: "'בית פנורמה' עלול להתמוטט בכל רגע ברעידת אדמה. במקום לבוא בתלונות, צריך להודות לי על כך שאני מנסה להציל את המקום"