flinkcdc

    2023年12月9日，F(xiàn)linkForwardAsia2023（以下簡(jiǎn)稱FFA）在北京圓滿結(jié)束。70+演講議題、30+一線大廠技術(shù)與實(shí)踐分享，以及座無(wú)虛席的現(xiàn)場(chǎng)，無(wú)一不昭示著重回線下的FFA的行業(yè)號(hào)召力。

    借用ApacheFlink中文社區(qū)發(fā)起人、ApachePaimonPPMCMember、阿里云智能開(kāi)源大數(shù)據(jù)平臺(tái)負(fù)責(zé)人王峰的話來(lái)說(shuō)：“經(jīng)過(guò)近十年的發(fā)展，F(xiàn)link已然成為了流式計(jì)算的事實(shí)標(biāo)準(zhǔn)�！�

    當(dāng)然，對(duì)于社區(qū)開(kāi)發(fā)者而言，這次大會(huì)上帶來(lái)的流計(jì)算的新趨勢(shì)、新實(shí)踐與新進(jìn)展或許才是關(guān)注的重點(diǎn)。

    Flink兩大版本更新，深入場(chǎng)景、精益求精

    過(guò)去十年，隨著大數(shù)據(jù)、物聯(lián)網(wǎng)和實(shí)時(shí)分析等需求的日益增長(zhǎng)，傳統(tǒng)的批量處理和靜態(tài)分析方法無(wú)法滿足新型數(shù)據(jù)處理場(chǎng)景下的高效、實(shí)時(shí)的要求，流計(jì)算的概念由此出現(xiàn)。流計(jì)算具有實(shí)時(shí)性強(qiáng)、處理實(shí)時(shí)數(shù)據(jù)流等能力，使得系統(tǒng)能夠更加及時(shí)地響應(yīng)和分析從大規(guī)模設(shè)備、傳感器以及其他數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)。ApacheFlink開(kāi)始嶄露頭角，并且憑借其出色的性能和靈活性在全球范圍內(nèi)贏得了眾多企業(yè)和開(kāi)發(fā)者的青睞。

    發(fā)布會(huì)上，王峰表示：“Flink作為開(kāi)源大數(shù)據(jù)領(lǐng)域的一棵常青樹(shù)，一直保持著快速的發(fā)展，根本原因是我們?cè)诤诵募夹g(shù)領(lǐng)域的不斷演進(jìn)。2023年我們同樣取得了一些新的進(jìn)展，依然保持一年兩個(gè)大版本的發(fā)布，包括Flink1.17和1.18，也產(chǎn)生了很多新的貢獻(xiàn)者�！�

    “在核心的流處理領(lǐng)域內(nèi)，整體總結(jié)就是精益求精�！蓖醴逄岬�。事實(shí)上，從技術(shù)層面來(lái)看，當(dāng)前Flink已經(jīng)成為了全球流計(jì)算領(lǐng)域的標(biāo)桿，所以2023年Flink把版本更新的重點(diǎn)放到了深入場(chǎng)景、持續(xù)打磨上。比如持續(xù)完善Flink在批處理模式下的性能問(wèn)題、功能完善性問(wèn)題等，讓Flink成為一款對(duì)有限數(shù)據(jù)集和無(wú)限數(shù)據(jù)集都能統(tǒng)一處理的計(jì)算引擎。

    具體來(lái)說(shuō)，在用戶最關(guān)注且使用最多的開(kāi)發(fā)語(yǔ)言——FlinkSQL方面，F(xiàn)link團(tuán)隊(duì)進(jìn)行了數(shù)百項(xiàng)調(diào)整或優(yōu)化。比如，今年社區(qū)推出了一項(xiàng)新的功能特性——PlanAdvice，它可以幫助用戶智能檢查流式SQL。PlanAdvice會(huì)在用戶編寫(xiě)完流式SQL后，自動(dòng)檢查SQL可能存在的問(wèn)題或風(fēng)險(xiǎn)，并第一時(shí)間給出提示和可行的建議。目前這項(xiàng)功能受到了用戶的熱烈歡迎。

    在StreamingRuntime也就是真正的Streaming核心架構(gòu)上，今年同樣做出了較大的升級(jí)�！癋link最大的特點(diǎn)是面向狀態(tài)計(jì)算，自帶狀態(tài)存儲(chǔ)和狀態(tài)訪問(wèn)能力，因此狀態(tài)管理、State管理、Checkpoint、快照管理等都是Flink非常核心的部分，也是用戶有很強(qiáng)訴求的部分。雖然Flink定期會(huì)做全局一致性快照，但用戶希望快照頻率越快越好，且代價(jià)越小越好，可行的思路是讓系統(tǒng)在出現(xiàn)容錯(cuò)的時(shí)候，盡量少的數(shù)據(jù)回放，比如做到秒級(jí)的Checkpoint�！蓖醴灞硎尽＝�(jīng)過(guò)一年的努力，通用的增量Checkpoint能力在Flink1.17和1.18成功落地，并且達(dá)到了一個(gè)完全生產(chǎn)可用的狀態(tài)。