You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-10-19 - 06:25
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Sun Oct 19, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
243992315279,24sleep20-21swapper/22
245272313275,25sleep00-21swapper/00
244932281243,25sleep10-21swapper/11
244502250183,55sleep30-21swapper/33
2472399243235,5cyclictest31354-21munin-run1
2471899239232,3cyclictest31377-21perf0
2271321720,1sleep20-21swapper/22
2473399134130,2cyclictest0-21swapper/33
2472699117111,3cyclictest31380-21idleruntime-cro2
287292570,2sleep30-21swapper/33
141082520,2sleep30-21swapper/33
180202490,2sleep10-21swapper/11
289132450,1sleep10-21swapper/11
9732430,3sleep32473399cyclictest3
275512420,1sleep10-21swapper/11
64432410,2sleep1201rcuc/11
2472399408,10cyclictest16399-21cut1
189262380,1sleep30-21swapper/33
2471899332,29cyclictest0-21swapper/00
2471899324,14cyclictest20407-21cut0
2472399318,9cyclictest28816-21ntp_states1
2472399317,10cyclictest32487-21ntpq1
2472399316,10cyclictest19910-21taskset1
2471899313,14cyclictest15804-21seq0
7182300,6sleep10-21swapper/11
2472399306,9cyclictest5386-21latency_hist1
2471899303,15cyclictest9037-21seq0
2472699299,17cyclictest29710-21sendmail2
2472399296,9cyclictest15276-21latency_hist1
2471899298,20cyclictest0-21swapper/00
2471899297,9cyclictest20982-21http0
2471899294,10cyclictest3086-21sshd0
2471899291,14cyclictest29349-21seq0
2471899291,14cyclictest24481-21seq0
2472399286,8cyclictest3894-21/usr/sbin/munin1
2472399283,9cyclictest0-21swapper/11
24723992818,5cyclictest15436-21apt-get1
2471899285,8cyclictest4993-21munin-run0
2471899284,10cyclictest7173-21cut0
2471899283,15cyclictest11896-21seq0
2471899282,14cyclictest29970-21seq0
2471899282,14cyclictest29970-21seq0
2471899282,14cyclictest25077-21seq0
2471899281,16cyclictest7366-21runrttasks0
2472399278,16cyclictest6650-21grep1
2472399273,10cyclictest0-21swapper/11
24723992716,7cyclictest24325-21munin-run1
2471899275,9cyclictest22044-21cat0
2471899272,15cyclictest883-21seq0
2471899272,15cyclictest27630-21taskset0
2471899272,14cyclictest3786-21seq0
2471899272,14cyclictest29003-21seq0
2471899272,14cyclictest24136-21seq0
2471899272,14cyclictest22069-21seq0
2471899272,14cyclictest21345-21seq0
2471899272,14cyclictest16458-21taskset0
2471899272,14cyclictest16280-21seq0
2471899272,13cyclictest19848-21seq0
2471899271,5cyclictest9-21ksoftirqd/00
2471899271,15cyclictest25821-21seq0
24723992615,7cyclictest2987-21perf1
24723992615,6cyclictest32460-21munin-run1
24723992614,7cyclictest24274-21apt-get1
24723992611,12cyclictest7748-21grep1
2471899262,9cyclictest27146-21seq0
2471899262,9cyclictest21628-21taskset0
2471899262,13cyclictest17799-21seq0
24718992614,6cyclictest29992-21apt-get0
24718992614,6cyclictest29992-21apt-get0
2471899261,14cyclictest8265-21seq0
2471899261,14cyclictest28646-21seq0
2471899261,14cyclictest11540-21seq0
2471899261,13cyclictest17102-21seq0
2471899261,10cyclictest27951-21seq0
24733992517,5cyclictest25328-21sh3
24733992513,7cyclictest20205-21apt-get3
24726992523,1cyclictest0-21swapper/22
24723992515,6cyclictest505-21dbus-daemon1
24723992514,6cyclictest31753-21munin-run1
24723992514,6cyclictest31753-21munin-run1
24723992514,6cyclictest28672-21apt-get1
24723992513,7cyclictest11358-21apt-get1
24723992513,6cyclictest32008-21apt-get1
24723992513,6cyclictest19181-21apt-get1
24723992512,8cyclictest18507-21apt-get1
2471899251,13cyclictest7438-21seq0
2471899251,13cyclictest5408-21seq0
2471899251,13cyclictest18908-21seq0
2472699241,19cyclictest19241-21munin-run2
2472399248,3cyclictest238192tr1
2472399242,9cyclictest0-21swapper/11
24723992415,6cyclictest28337-21apt-get1
24723992415,6cyclictest28337-21apt-get1
24723992415,5cyclictest26402-21needreboot1
24723992413,7cyclictest7297-21apt-get1
24723992413,6cyclictest20538-21apt-get1
24723992412,7cyclictest23877-21apt-get1
24723992412,7cyclictest1876-21apt-get1
24723992412,5cyclictest24615-21apt-get1
2472399241,10cyclictest0-21swapper/11
2471899244,6cyclictest26421-21runrttasks0
2471899242,8cyclictest27942-21apt-get0
2471899241,9cyclictest4295-21runrttasks0
2471899241,9cyclictest2900-21seq0
2471899241,9cyclictest15650-21seq0
24718992418,3cyclictest31706-21latency_hist0
2472699234,17cyclictest16161-21latency_hist2
2472699233,17cyclictest1328-21cron2
2472699230,2cyclictest19154-21kworker/2:22
2472399238,10cyclictest0-21swapper/11
2472399238,10cyclictest0-21swapper/11
24723992313,7cyclictest9749-21taskset1
24723992313,7cyclictest12100-21munin-run1
24723992313,7cyclictest10477-21cut1
24723992313,6cyclictest6084-21cron1
24723992313,6cyclictest4065-21ntpq1
24723992313,6cyclictest21858-21apt-get1
24723992313,6cyclictest21563-21cron1
24723992313,6cyclictest14817-21apt-get1
2471899234,6cyclictest1670-21seq0
2471899233,6cyclictest28243-21taskset0
2471899231,8cyclictest26303-21seq0
2471899231,7cyclictest9566-21/usr/sbin/munin0
24718992313,6cyclictest12770-21apt-get0
2471899230,9cyclictest31822-21seq0
2471899230,14cyclictest0-21swapper/00
2472699224,16cyclictest7035-21latency_hist2
2472699224,16cyclictest25661-21latency_hist2
2472699222,18cyclictest9474-21awk2
2472699221,4cyclictest10333-21gdbus2
24726992210,10cyclictest19583-21expr2
2472699220,4cyclictest16866-21gpgv2
2472399229,8cyclictest29943-21apt-get1
2472399228,8cyclictest0-21swapper/11
24723992217,3cyclictest13430-21grep1
24723992214,5cyclictest15886-21cron1
24723992213,6cyclictest28270-21wc1
24723992213,5cyclictest31226-21awk1
24723992212,7cyclictest9745-21cron1
24723992212,7cyclictest25770-21tr1
24723992212,7cyclictest10059-21tail1
24723992212,6cyclictest6699-21awk1
24723992212,6cyclictest666-21needreboot1
24723992212,6cyclictest23261-21cron1
24723992211,7cyclictest27924-21apt-get1
24723992211,7cyclictest21990-21perf1
24718992215,4cyclictest13122-21cron0
24718992214,6cyclictest9246-21cat0
24718992211,5cyclictest32008-21apt-get0
24718992210,7cyclictest13414-21apt-get0
2471899220,8cyclictest9247-21seq0
24733992114,4cyclictest6093-21sh3
2473399210,1cyclictest0-21swapper/33
2472699214,2cyclictest0-21swapper/22
24726992116,3cyclictest27358-21sh2
24726992116,3cyclictest24485-21ls2
24726992115,4cyclictest505-21dbus-daemon2
2472699211,17cyclictest9771-21perf2
2472699211,17cyclictest15182-21munin-run2
2472699210,18cyclictest13095-1kworker/2:0H2
24723992112,6cyclictest8444-21grep1
24723992112,6cyclictest17822-21latency1
2471899219,7cyclictest22253-21apt-get0
24718992113,5cyclictest18905-21cron0
2473399202,15cyclictest6598-21sed3
2473399202,15cyclictest3374-21turbostat3
24733992016,2cyclictest0-21swapper/33
24733992015,3cyclictest35-21ksoftirqd/33
24733992015,3cyclictest3016-21sed3
24733992015,3cyclictest10724-21acpi3
24733992014,4cyclictest18812-21grep3
24733992014,3cyclictest13118-21cron3
24733992013,4cyclictest6017-21aten2_r9power_p3
24733992013,4cyclictest16164-21sh3
2473399201,16cyclictest2082-21systemd-journal3
2472699208,10cyclictest16250-21grep2
2472699205,2cyclictest26382-21sh2
24726992016,2cyclictest20880-21switchtime2
24726992015,3cyclictest32388-21/usr/sbin/munin2
24726992015,3cyclictest19275-21missed_timers2
24726992014,4cyclictest5628-21cut2
24726992014,4cyclictest32445-21cron2
24726992014,4cyclictest27170-21cat2
24726992014,4cyclictest12509-21gltestperf2
24726992014,4cyclictest1198-21apt-get2
24726992014,4cyclictest11477-21seq2
24726992014,4cyclictest10750-21diskstats2
24726992014,3cyclictest18164-21acpi2
24726992014,3cyclictest14802-21sed2
24726992013,4cyclictest27169-21ntp_kernel_pll_2
2472699201,17cyclictest7702-21latency_hist2
2472699200,17cyclictest3652-21munin-run2
24723992011,5cyclictest12845-21grep1
24718992012,5cyclictest3655-21sh0
2471899200,6cyclictest0-21swapper/00
25582190,2sleep20-21swapper/22
2473399193,8cyclictest16596-21apt-get3
24733991917,1cyclictest0-21swapper/33
24733991917,1cyclictest0-21swapper/33
24733991917,1cyclictest0-21swapper/33
24733991916,2cyclictest0-21swapper/33
24733991916,2cyclictest0-21swapper/33
24733991915,2cyclictest9760-21apt-get3
24733991914,3cyclictest4114-21gltestperf3
24733991914,3cyclictest23685-21cut3
24733991914,3cyclictest13904-21sed3
24733991914,3cyclictest12140-21cat3
24733991914,3cyclictest10047-21sed3
24733991913,3cyclictest7273-21if_err_enp2s03
24733991913,3cyclictest26690-21aten2_r9power_e3
24733991912,4cyclictest5002-21sh3
24733991912,4cyclictest19029-21tail3
24733991911,5cyclictest31774-21latency_hist3
24733991910,5cyclictest505-21dbus-daemon3
2473399190,17cyclictest0-21swapper/33
24726991915,2cyclictest6602-21pmu-power2
24726991915,2cyclictest2013-21df2
24726991914,3cyclictest9884-21if_enp2s02
24726991914,3cyclictest8697-21basename2
24726991914,3cyclictest5126-21date2
24726991914,3cyclictest27612-21proc_pri2
24726991914,3cyclictest18002-21latency_hist2
24726991914,3cyclictest10872-21cpu2
24726991914,3cyclictest0-21swapper/22
24726991913,4cyclictest4723-21expr2
24726991913,4cyclictest31810-21cat2
24726991913,4cyclictest24443-21awk2
24726991913,4cyclictest22150-21ls2
24726991912,4cyclictest505-21dbus-daemon2
2472699191,15cyclictest5838-21latency_hist2
2472699190,2cyclictest18569-21seq2
2471899199,7cyclictest32487-21perf0
2471899197,7cyclictest10741-21apt-get0
24718991913,4cyclictest22994-21seq0
2473399183,8cyclictest12066-21apt-get3
24733991816,1cyclictest0-21swapper/33
24733991816,1cyclictest0-21swapper/33
24733991816,1cyclictest0-21swapper/33
24733991816,1cyclictest0-21swapper/33
24733991814,2cyclictest7279-21/usr/sbin/munin3
24733991814,2cyclictest26924-21munin-node3
2473399181,3cyclictest265872grep3
24733991813,3cyclictest22752-21sed3
24733991813,3cyclictest19163-21/usr/sbin/munin3
24733991812,4cyclictest30439-21dump-pmu-power3
24733991812,4cyclictest18026-21sed3
24733991812,3cyclictest7032-21grep3
24733991812,3cyclictest3683-21uptime3
24733991811,4cyclictest29208-21grep3
24733991811,4cyclictest28981-21cut3
24733991811,4cyclictest28981-21cut3
24733991811,4cyclictest25224-21tr3
2473399180,16cyclictest0-21swapper/33
2472699182,12cyclictest6674-21apt-get2
24726991813,3cyclictest30367-21expr2
24726991813,3cyclictest30367-21expr2
24726991813,3cyclictest28924-21expr2
24726991813,3cyclictest28555-21irqstats2
24726991813,3cyclictest22250-21cat2
2472699180,6cyclictest13122-21cron2
2473399173,8cyclictest24923-21apt-get3
2473399172,9cyclictest21502-21apt-get3
24733991715,1cyclictest0-21swapper/33
24733991715,1cyclictest0-21swapper/33
24733991711,4cyclictest16657-21grep3
2473399170,15cyclictest0-21swapper/33
2473399170,15cyclictest0-21swapper/33
24726991713,2cyclictest31451-21swap2
24726991712,3cyclictest28655-21expr2
24726991712,3cyclictest28655-21expr2
24726991711,3cyclictest26862-21cat2
2473399160,15cyclictest0-21swapper/33
24726991612,2cyclictest20518-21/usr/sbin/munin2
24726991610,4cyclictest692-21ntp_kernel_pll_2
24733991510,3cyclictest8814-21cut3
2473399149,3cyclictest665-21runrttasks3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional