Büyük Veri

Matbaanın icadı gibi ortaya çıkan her yenilik, beraberinde tartışmaları da getirmiştir. Tüm mesele, geçmişten bugüne bilgeliğin dünya üzerinde hakim olması fikridir ve günümüzde, gelecek nesillerin daha az bilme ihtiyacı hissedeceği ve ezber yeteneklerinin köreleceği endişesi tartışılırken, toplumlar hâlâ, sahip oldukları nükleer silahların etkileri üzerine kafa yormaktadır.

“Geçmişte, insanlığın yapabilecekleri oldukça sınırlıydı… Bilgi düzeyindeki her artış insanlığın başarabileceklerini de artırmıştır. Bugünün ve muhtemelen geleceğin bilim dünyasında, atalarımızın en vahşi rüyalarının bile ötesinde, kötülüklerin daha büyük kötülükler; iyilerinse daha büyük iyilikler yapmaları mümkün olacaktır…” – Bertrand Russell

Bilgiye idrak, görgü, sağduyu ve sezgisel anlayış ile birlikte bu hususiyetleri özümseyebilme ve uygulayabilme kapasitesinin, bir diğer deyişle bilgeliğin eşlik etmediği her ilerleme insanlık için tehlike adımlardır. Elbette ki bu kaygı, söz konusu teknolojileri göz ardı ederek ya da dışlayarak hayatın sürdürülmesini gerektirmemektedir. Zira bilgi ve iletişim teknolojilerindeki gelişmeler gündelik hayatın rutinine oldukça sağlam bir şekilde yerleşmiştir.

Teknolojik gelişmeler doğrultusunda giderek dijitalleşen ve hemen her şeyden verinin aktığı bu dünya her zamankinden daha hızlı, çeşitli ve büyük miktarlarda dijital veriyi barındırmaktadır. Büyük veri teknolojileri sayesinde söz konusu verilerin aynı hızla analizi de mümkün olmaktadır. Algoritmaların doğru çıkarımlar yapması, isabetli karar vermesi, gizli içgörüleri keşfetmesi ve iş süreçlerinin otomatikleştirilmesi sağlanarak, büyük veri teknolojisi birçok alana fayda getirmiştir.

Dünya genelinde üretilen dijital verideki üstel artış, büyük miktar, hız ve çeşitlilikteki verinin saklanması, yönetilmesi, işlenmesi ve anlamlı sonuçlar çıkarılmasını sağlayan büyük veri uygulamalarının gelişimini tetiklemiştir. Önemli ekonomik ve sosyal faydaları bünyesinde barındıran büyük veri sayesinde, bugün bireyler hakkında hiçbir çağda olmadığı kadar bilgiye sahip olunabilmektedir. Bu durum ise veri mahremiyeti kurallarının uygulanması bakımından birtakım zorlukları da beraberinde getirmektedir.

İşlenen verilerin büyük kısmının kişisel veriler olması dolayısıyla veri mahremiyeti kurallarının uygulanması bakımından OECD, AB ve ABD bu çerçevede çalışmalar ortaya koymuştur.

Büyük Verinin Teknolojisi

Michal Cox ve David Ellsworth isimli NASA çalışanı iki bilim insanı, 1997 yılında büyük veri terimini ilk kullanan kişiler olmuştur. Sensörlerden ve çeşitli araçlardan gelen hacmi büyük, çeşidi bol, düzensiz, sorunlu ve hızla gelen veriyi; toplama, saklama, temizleme, görselleştirme, analiz etme ve anlamlandırma bilimi olan büyük veri, MGI (McKinsey Global Institute) tarafından 2011 yılında yayımlanan Büyük Veri Raporunda “boyutları geleneksel veri tabanı yazılım araçlarının tutma, depolama, yönetme ve analiz etme yeteneğini aşan veri setleri” şeklinde tanımlanmıştır.

Büyük veri kavramının anlaşılabilmesi bakımından bu verilerin işlenmesi, anlamlandırılması ve kullanılabilmesindeki temel bileşenlerinin bilinmesi gerekmektedir. Bu bileşenler; verinin hacmi (terabaytlar, kayıtlar, işlemler, tablolar, dosyalar), hızı (yığın, yaklaşık zaman, gerçek zaman, akış) ve çeşitliliği (yapılandırılmış, yapılandırılmamış, yarı yapılandırılmış, tamamı) olarak kabul edilir.

Büyük veri terimi sadece verinin kendisini değil aynı zamanda bu alandaki teknolojileri, sorunları ve yöntemleri içermektedir. Bu kapsamda, verilerin sahip olduğu büyüklük, hız ve karmaşıklık gibi özellikleri nedeniyle depolanması ve analiz edilmesi bakımından geleneksel yöntemlerin ötesinde özel bir teknolojiye ihtiyaç duyulmaktadır. Bu ihtiyaç, büyük veri teknolojisine iki büyük teknolojik gelişme katkı sağlamıştır:

Birincisi, bulut tabanlı çözümlerin ortaya çıkmasıyla veri depolama maliyetlerinin düşmesi ve yaygınlaşmasıdır. Veri miktarındaki artışın üstel olması sebebiyle bu artıştaki veriyi depolamak için teknolojik gelişmelerin de sürekliliği devam etmelidir. Google, Amazon, Facebook, Twitter ve Apple gibi firmalar, bu teknolojinin sürekliliğinde önde gelen isimlerdir.

İkincisi, büyük hacimli verilerin analizi amacıyla donanımların dağınık dosya sistemleri ile birleştirilmesinden oluşan büyük veri işleme platformlarıdır. Burada üç temel uygulama mimarisinden bahsedilebilir: yığın işleme, eş zamanlı veri işleme ve melez işleme mimarisi. Yığın ve eş zamanlı veri işleme mimarileri en yaygın kullanılanlarıdır.

Google, hızlı işlemek için sorunları farklı birimlere böldüğü MapReduce; Facebook tarafından kullanılan Hadoop; Twitter’a gerçek zamanlı veri işleme olanağı sağlayan Storm ve SAP firması tarafından geliştirilen Hana; bu platformların başında gelmektedir. Ayrıca Hadoop ve NoSQL, günümüzde en yaygın kullanılan teknolojilerdir. Yığın veri işlemek için MapReduce yöntemini kullanan Hadoop, verileri dağınık ortamda saklamak için kendi sistemini kullanmaktadır (HDFS). Akan verinin işlenebilmesi için günümüzde kullanılan en yaygın teknolojiler ise Storm, S4, Smaza, Flink Streaming ve Spark Streaming olarak kabul edilir. NoSQL veritabanları ise günümüzde kullanılan ilişkisel veritabanlarına alternatif olarak, gelişen ihtiyaçlardan dolayı ortaya çıkmıştır.

Uygulama Alanları

Massachusetts Teknoloji Enstitüsü (MIT), yaptığı bir araştırmada veriye dayalı karar alan işletmelerin karlarını yüzde 5-6 civarlarında artırdıkları ifade edilmektedir. Farklı kaynaklardan gelen ve farklı veri tiplerini içeren büyük veriler; başta sağlık ve finans sektörü olmak üzere birçok sektör ile bilimsel araştırmalar, büyük ölçekli e-ticaret uygulamaları ve internet arama motorları gibi pek çok alanda karşımıza çıkmaktadır ve karar verme, risk yönetimi ve endüstriyel strateji geliştirme gibi önemli amaçlar için kullanılmaktadır.

Veri odaklı tıbbi çalışmalar, çok sayıda tıbbi kayıt ve görüntünün eşzamanlı olarak değerlendirilmesine imkan vermesi sayesinde hastaya özel ilaç geliştirilmesini ve hastalığın erken evre teşhisine yardımcı olabilecek modeller öngörülmesinin sağlandığı sağlık sektörü; Sensör verilerinin özellikle doğal afetlerin önceden tespitinde kullanılabilecek verilerin olduğu ve afetlerin öngörülmesi konusunda veri yığınlarından faydalanılmasına yönelik çalışmaların sürdürüldüğü afet ve acil durum yönetimi; enerji sistemlerinin etkin çalışması, dengeli kullanılması ve enerji israfının azaltılması çalışmalarındaki dijital dönüşüm fırsatlarının sağladığı enerji sektörü; caydırıcılığın temini amacıyla verilerin derlendiği güvenlik sektörü; piyasa verilerinin yanında veri olarak kaydedilen bankacılık gibi tüm finans işlemlerinin analiz edildiği finans sektörü; çevrimiçi işlemler; e-ticaret uygulamaları; kamu hizmetlerinin sunumu; büyük verinin katkı sağladığı alanlar ya da sektörler olarak ele alınabilir.

Ekonomik Boyut

Büyük veri pazarı yeni araç ve yazılımlarla genişlemesini sürdürmektedir. IDC’nin “Dünya Çapında Büyük Veri ve Analitik Harcamaları Yarıyıl Rehberi” raporunda, büyük veri ve iş analitiği pazarının 2016 sonu itibarıyla 130 milyar ABD dolarına ulaştığı, 2020 yılında ise 203 milyar ABD dolarına ulaşacağı öngörülmektedir. Özellikle bankacılık ve bilgi teknolojileri sektöründeki teknoloji yatırımları bu öngörüyü desteklemektedir.

Büyük veri, bulut teknolojisi ve mobil teknolojiler; bilgi teknolojiler (BT) endüstrisinin üçüncü nesil platformları olarak isimlendirilmekte ve pazar büyüklüğü 2020 yılına kadar 5,3 trilyon ABD doları olacağı tahmin edilmektedir. Büyük veri perspektifinde değerlendirildiğinde, gelecekte ekonominin temel destekleyicisinin işgücü verimliliğinin değil, bilgi verimliliği olacağı öngörülmektedir.

Son Olarak

Bilgisayarın, internetin ve teknolojik altyapının hızlı gelişmesi sayesinde dijitalleşen ve hemen her şeyin birbiriyle bağlı olduğu bir çağ yaşanmaktadır. Dünya genelinde üretilen dijital veri, her iki yılda bir ikiye katlanmaktadır. Günümüzde; 10 yıl önce kaydedilen tüm dijital verinin 32 katı, 20 yıl öncekinin ise 1024 katı veri depolanabilmektedir. 2013 yılında üretilen 4,4 zetabayt (44×10¹⁹ bit ya da 1,4 milyar adet akıllı telefonun depolama kapasitesi) dijital verinin 2020 yılında 45 zetabayt, 2025 yılında ise 163 zetabayt olacağı tahmin edilmektedir.

Ne var ki, büyük veri düşünme, algılama biçimi, araştırma ve iş yapış yöntemlerinde köklü bir değişim yaratmakta ve bazı zorlukları beraberinde getirmektedir. Veri güvenliği, veriye dayalı ayrımcılık ve mahremiyet konuları büyük veri analizinin en temel zorlukları olarak özellikle hukuk doktrininde tartışılmaya devam etmektedir. Bireylerin açık rızaları alınmaksızın kişisel ilgi alanları, konumları, hobileri, fiziksel özellikleri gibi pek çok kişisel verisinin açığa çıkabilmesi, mahremiyet ihlallerini doğurduğundan tartışma yaratmaktadır.

Bu nedenle mahremiyet, güvenlik, fikri mülkiyet hakları ve verinin transferi olmak üzere birçok alanın düzenlendiği veriye ilişkin üzerinde mutabakat sağlanmış temel politikanın ve bu verileri kullanabilme yetenekleri ile veriye bakış açılarının önem kazandığı kurumsal kültürün kabul edilebilirliği; zorluk ve risklerin çözümü noktasında bu düşünce yapısına referans olacaktır.

Hazırlayan: Taner Güler

Kaynaklar:

• AKINCI, A. N., “Büyük Veri Uygulamalarında Kişisel Veri Mahremiyeti”, Uzmanlık Tezi, Sektörel ve Kamu Yatırımları Genel Müdürlüğü, 2019.
• ALTUNIŞIK, R., “Büyük Veri: Fırsatlar Kaynağı mı Yoksa Yeni Sorunlar Yumağı mı?”, Yıldız Social Science Review, 2015, Vol.: 1, pp. 45-76.
• DAVENPORT, T. H., P. LOVEJOY, M. A. ANNE-KATHRIN HORN, B.N. HUGHES, “Facebook and Online Privacy: Attitudes. Behaviors and Unintended Consequences”, Journal of Computer-Mediated Communicatio, 2009, Vol.: 15 (1), pp. 83-108.
• DRIDI, A., S. SASSI, A. TISSAOUI, “Big Data in Complex Systems: Challenges and Oppourtunities, Springer International Publishing, 2015.
• ERL, T., KHATTAK, W., BUHLER, P., “Big Data Fundamentals: Concept, Drivers & Techniques”, Prentice Hall PTG, 2016.
• FRIEDMAN, U., “Big data: A short history”, 2012.
• IDC, Data Age 2025: The Evolution of Data to Life-Critical Don’t Focus on Big Data; Focus on the Data That’s Big, IDC White Paper, 2017.
• IDC, Worldwide Semiannual Big Data and Analytics Spending Guide, 2016.
• JIN, X., B. W. WAH, X. CHENG, Y. WANG, “Significance and Challenges of Big Data Research”, Big Data Research, 2015, Vol.: 2, pp. 59-64.
• KAYABAY, K., M. O. GÖKALP, M. A. AKYOL, P. E. EREN, A. KOÇYİĞİT, “Geleceğin Kuruluşları için Büyük veri: Mevcut Durum ve Eğilimler”, METU Informatics Institute, 2016.
• MAYER-SCHÖNBERGER, V., K. CUKIER, “Big Data (A Revolution That will Transform How We Live Work and Think)”, Houghton Mifflin Harcourt Publishing, New York, 2013.
• McAFEE, A., E. BRYNJOLFSSON, “Big Data: The Management Revolution”, Harvard Business Review, 2012, Vol.: 90 (10), pp. 60-68.
• McKINSEY GLOBAL INSTITUTE, Big Data: The Next Frontier for Innovation, Competition, and Productivity, 2011.
• ÖZBİLGİN, İ. G., “Kamuda Büyük Veri ve Uygulamaları”, Anadolu Üniversitesi, Akademik Bilişim Konferansı, 2015.