โนชั่นจัดการกับเอนทิตี้ข้อมูล 200 พันล้านรายการอย่างไร

ทุกอย่างใน Notion เป็นบล็อก - ข้อความ รูปภาพ รายการ แถวฐานข้อมูล และแม้กระทั่งหน้า

สถาปัตยกรรมของโนชั่นได้รับการออกแบบมาเพื่อรองรับโมเดลข้อมูลที่เป็นเอกลักษณ์ ซึ่งหมุนรอบ "บล็อก" — หน่วยข้อมูลพื้นฐานที่สามารถแสดงเนื้อหาที่หลากหลาย เช่น ข้อความ รูปภาพ และรายการฐานข้อมูล สถาปัตยกรรมนี้ช่วยให้ผู้ใช้สามารถสร้างและจัดการข้อมูลได้อย่างยืดหยุ่นและมีพลวัต

คุณสมบัติหลักของสถาปัตยกรรมโนชั่น

โมเดลข้อมูลแบบบล็อก

ทุกอย่างคือบล็อก: ในโนชั่น ทุกเนื้อหาถูกปฏิบัติตามเป็นบล็อก บล็อกคือเลโก้ของโนชั่น ซึ่งรวมถึงข้อความ รูปภาพ แถวฐานข้อมูล และแม้กระทั่งหน้าเว็บทั้งหมด แต่ละบล็อกมีข้อมูลเมตาที่เกี่ยวข้องและสามารถเปลี่ยนแปลงหรือย้ายได้อย่างอิสระภายในแอปพลิเคชัน
ความยืดหยุ่น: โมเดลบล็อกนี้ช่วยให้ผู้ใช้จัดระเบียบข้อมูลโดยไม่มีข้อจำกัด ทำให้ง่ายต่อการปรับให้เข้ากับกรณีการใช้งานและกระบวนการทำงานที่หลากหลาย

การออกแบบฐานข้อมูล

ฐานข้อมูลเชิงสัมพันธ์: โนชั่นใช้ PostgreSQL เป็นระบบฐานข้อมูลที่อยู่เบื้องหลัง ในช่วงแรก โนชั่นใช้ PostgreSQL แบบเดียว แต่หลังจากนั้นได้พัฒนาไปสู่สถาปัตยกรรมที่ซับซ้อนมากขึ้น โดยใช้การแบ่งส่วนข้อมูลเพื่อจัดการข้อมูลที่เพิ่มขึ้นอย่างมีประสิทธิภาพ
กลยุทธ์การแบ่งส่วนข้อมูล: ณ กลางปี 2023 สถาปัตยกรรมฐานข้อมูลของโนชั่นประกอบด้วยเซิร์ฟเวอร์ฐานข้อมูล 96 เครื่อง ซึ่งแบ่งออกเป็นส่วนข้อมูลตาม ID ของพื้นที่ทำงาน ซึ่งทำให้แน่ใจว่าบล็อกทั้งหมดที่เกี่ยวข้องกับพื้นที่ทำงานใดพื้นที่ทำงานหนึ่งจะถูกเก็บไว้ด้วยกัน ช่วยให้การทำธุรกรรมมีประสิทธิภาพและสม่ำเสมอ

ความสามารถในการปรับขนาดและประสิทธิภาพ

สถาปัตยกรรมแบบคลัสเตอร์: การใช้เซิร์ฟเวอร์แบบคลัสเตอร์ช่วยให้โนชั่นสามารถปรับขนาดฐานข้อมูลได้อย่างแนวนอน แต่ละส่วนข้อมูลแสดงเป็น PostgreSQL สกีมา ซึ่งช่วยในการจัดการข้อมูลที่เพิ่มขึ้นโดยยังคงประสิทธิภาพไว้
การโต้ตอบ API: แอปพลิเคชันไคลเอ็นต์โต้ตอบกับฐานข้อมูลผ่านเซิร์ฟเวอร์ API ที่ทำงานบน Node.js ซึ่งช่วยปรับปรุงประสิทธิภาพโดยการจัดการการเชื่อมต่ออย่างมีประสิทธิภาพผ่านการรวมการเชื่อมต่อ

การจัดการข้อมูลและการเติบโต

โครงสร้างคลังข้อมูล: โนชั่นได้ใช้ระบบ ELT (Extract, Load, Transform) สำหรับการวิเคราะห์และรายงานข้อมูล โดยใช้เครื่องมืออย่าง Fivetran เพื่อดึงข้อมูลจาก PostgreSQL ไปยัง Snowflake เพื่อวิเคราะห์เพิ่มเติม
การเติบโตของข้อมูลอย่างรวดเร็ว: ปริมาณข้อมูลบล็อกในโนชั่นเพิ่มขึ้นอย่างมาก โดยเติบโตจากมากกว่า 20 พันล้านบล็อกในช่วงต้นปี 2021 เป็นมากกว่า 200 พันล้านบล็อกในช่วงกลางปี 2024 การเติบโตนี้ทำให้จำเป็นต้องปรับปรุงกลยุทธ์การจัดการข้อมูลอย่างต่อเนื่อง

การออกแบบฐานข้อมูลในโนชั่น

การสร้างฐานข้อมูลในโนชั่นเป็นเรื่องง่ายและประกอบด้วยขั้นตอนต่อไปนี้:

สร้างบล็อกฐานข้อมูล: ผู้ใช้สามารถเริ่มต้นฐานข้อมูลโดยการพิมพ์ /database ในหน้าโนชั่นใดก็ได้ เพื่อเข้าถึงประเภทฐานข้อมูลต่างๆ (แบบแทรกหรือแบบเต็มหน้า)
เพิ่มคอลัมน์และรายการ: ผู้ใช้สามารถกำหนดคุณสมบัติสำหรับแต่ละรายการในฐานข้อมูล รวมถึงประเภทต่างๆ เช่น ข้อความ ตัวเลข วันที่ เป็นต้น
ปรับแต่งมุมมอง: โนชั่นรองรับมุมมองต่างๆ (ตาราง กระดาน แกลเลอรี่) สำหรับการแสดงข้อมูลตามความชอบของผู้ใช้
ลิงก์ฐานข้อมูล: ผู้ใช้สามารถสร้างความสัมพันธ์ระหว่างฐานข้อมูลที่แตกต่างกันโดยใช้คุณสมบัติที่เชื่อมโยง ซึ่งช่วยเพิ่มความเชื่อมโยงของข้อมูล

สถาปัตยกรรมของโนชั่นรวมโมเดลข้อมูลแบบบล็อกที่ยืดหยุ่นเข้ากับหลักการบริหารฐานข้อมูลเชิงสัมพันธ์ที่แข็งแกร่ง เพื่อสร้างเครื่องมือที่ทรงพลังสำหรับการจัดระเบียบข้อมูล โครงสร้างที่ปรับขนาดได้และดีไซน์ที่เป็นมิตรกับผู้ใช้ช่วยให้ผู้ใช้สามารถจัดการข้อมูลที่ซับซ้อนได้อย่างมีประสิทธิภาพ ในขณะเดียวกันก็ให้เครื่องมือที่จำเป็นสำหรับการปรับแต่งและความร่วมมือ ส่วนผสมที่เป็นเอกลักษณ์นี้ทำให้โนชั่นเหมาะสำหรับทั้งการผลิตภาพส่วนบุคคลและการทำงานร่วมกับทีม

ในตอนแรก โนชั่นเก็บบล็อกทั้งหมดในฐานข้อมูล PostgreSQL

ในขณะนั้น ฐานข้อมูล PostgreSQL จัดการทุกอย่างตั้งแต่การจราจรของผู้ใช้ออนไลน์ไปจนถึงการวิเคราะห์และการเรียนรู้ของเครื่องแบบออฟไลน์

ในปี 2021 พวกเขาเริ่มต้นการเดินทางด้วย ETL ที่ใช้ Fivetran เพื่อดึงข้อมูลจาก PostgreSQL ไปยัง Snowflake โดยใช้ 480 คอนเนคเตอร์เพื่อเขียน 480 ส่วนข้อมูลไปยังตาราง Snowflake แบบดิบทุกๆ ชั่วโมง

แต่วิธีนี้มีปัญหาเมื่อข้อมูล PostgreSQL เติบโต:

❌การจัดการคอนเนคเตอร์ Fivetran 480 ตัวเป็นเรื่องยุ่งยาก

❌ผู้ใช้โนชั่นอัปเดตบล็อกบ่อยกว่าการเพิ่มใหม่ รูปแบบการอัปเดตที่หนักหน่วงนี้ชะลอและเพิ่มต้นทุนการดึงข้อมูล Snowflake

❌การบริโภคข้อมูลมีความซับซ้อนและหนัก (AI workloads)

ในปี 2022 พวกเขาได้นำโครงสร้างคลังข้อมูลในบ้านมาใช้ ซึ่งดึงข้อมูลจาก PostgreSQL ไปยัง Kafka โดยใช้ Debezium จากนั้นใช้ Apache Hudi เพื่อเขียนจาก Kafka ไปยัง S3

โปรดทราบว่าเวอร์ชันภาษาไทยได้รับการช่วยเหลือจาก AI ดังนั้นอาจมีข้อผิดพลาดเล็กน้อย

ผู้เขียน

Ai-Banking-NetworkSecurity (ABN), ABN ASIA ถูกก่อตั้งขึ้นโดยคนที่มีรากฐานลึกในวงการวิชาการ มีประสบการณ์การทำงานในสหรัฐอเมริกา ดัตช์ ฮังการี ญี่ปุ่น เกาหลีใต้ สิงคโปร์ และเวียดนาม ABN Asia เป็นที่เราพบกันของวิทยาลัยและเทคโนโลยี ด้วยโซลูชันขั้นสูงและบริการพัฒนาซอฟต์แวร์ที่มีความสามารถ เราช่วยธุรกิจเติบโตและเข้าสู่ฉากโลก ความมุ่งมั่นของเรา: ด่วนขึ้น ดีขึ้น น่าเชื่อถือมากขึ้น ในกรณีส่วนมาก: ราคาถูกด้วย

หากคุณต้องการบริการ IT การให้คำปรึกษาดิจิทัล โซลูชันซอฟต์แวร์ใช้ได้หรือหากคุณต้องการส่งคำขอข้อเสนอ (RFPs) อย่าลังเลที่จะติดต่อเรา คุณสามารถติดต่อเราได้ที่ [email protected] เราพร้อมช่วยเหลือคุณด้านทุกความต้องการทางเทคโนโลยีของคุณทุกเมื่อ