You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-03 - 15:03
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Wed Dec 03, 2025 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
293982276195,65sleep00-21swapper/00
299102267178,52sleep30-21swapper/33
299132229191,26sleep10-21swapper/11
299292228191,24sleep20-21swapper/22
3039799226221,3cyclictest8959-21strings0
3040199222218,2cyclictest0-21swapper/11
3040599214211,2cyclictest0-21swapper/22
3041099203199,2cyclictest0-21swapper/33
48612770,6sleep3351ksoftirqd/33
218192460,3sleep20-21swapper/22
261812420,3sleep30-21swapper/33
315792400,2sleep00-21swapper/00
98462380,1sleep30-21swapper/33
3040599284,21cyclictest21356-21cron2
30397992621,3cyclictest24803-21sed0
30405992511,11cyclictest4666-21sed2
3040599250,18cyclictest17386-1kworker/2:0H2
30397992515,8cyclictest11483-21processes0
30397992513,10cyclictest14183-21wc0
30397992513,10cyclictest14183-21wc0
30405992412,10cyclictest24281-21ntp_states2
30401992411,11cyclictest30215-21cron1
3040199230,21cyclictest8412-21kworker/1:11
30410992215,4cyclictest31031-21gltestperf3
3040599223,17cyclictest28193-21latency_hist2
3040599223,17cyclictest19925-21cat2
3040599223,17cyclictest17314-21latency_hist2
3040599222,18cyclictest2489-21latency_hist2
30405992216,3cyclictest2082-21systemd-journal2
3040599221,4cyclictest6219-21munin-run2
3040599221,4cyclictest28786-21munin-run2
3040599221,4cyclictest28786-21munin-run2
30405992213,5cyclictest505-21dbus-daemon2
3040599221,19cyclictest13280-21sendmail-msp2
3040599221,18cyclictest10721-21tr2
30401992216,4cyclictest3054-21cut1
30397992217,3cyclictest7089-21grep0
30397992215,4cyclictest29496-21diskstats0
30410992115,4cyclictest505-21dbus-daemon3
30410992115,4cyclictest24101-21latency3
3041099210,17cyclictest19602-21apt-get3
3040599213,16cyclictest31307-21awk2
3040599212,17cyclictest5245-21latency_hist2
3040599212,17cyclictest16448-21cat2
3040599212,17cyclictest11418-21cat2
3040599212,17cyclictest0-21swapper/22
30405992117,2cyclictest15397-21idleruntime-cro2
30405992115,4cyclictest3310-21sed2
30405992115,3cyclictest1134-21sh2
3040599211,4cyclictest1-21systemd2
30405992114,4cyclictest3458-21fw_packets2
3040599211,3cyclictest27196-21munin-run2
3040599211,18cyclictest9165-21munin-run2
3040599211,17cyclictest17386-1kworker/2:0H2
30401992116,3cyclictest32090-21cut1
30401992116,3cyclictest10655-21idleruntime-cro1
30401992115,4cyclictest23980-21seq1
30401992115,4cyclictest23635-21cut1
30401992115,4cyclictest19340-21find1
30401992114,4cyclictest505-21dbus-daemon1
30401992114,4cyclictest3440-21aten2.4-expect1
30397992116,3cyclictest9-21ksoftirqd/00
30397992114,4cyclictest25539-21cat0
30397992114,4cyclictest11253-21cat0
30410992015,3cyclictest23653-21acpi3
30410992015,3cyclictest13384-21ntp_states3
30410992014,4cyclictest25818-21ls3
30410992014,4cyclictest20907-21pluginstate3
3040599207,11cyclictest0-21swapper/22
30405992016,2cyclictest20624-21procmail2
30405992015,3cyclictest31564-21apt2
30405992015,3cyclictest17559-21/usr/sbin/munin2
30405992015,3cyclictest11299-21latency_hist2
3040599201,4cyclictest1850-21cron2
30405992014,4cyclictest26306-21awk2
30405992014,4cyclictest25438-21munin-plugin-st2
30405992013,5cyclictest7799-21tr2
3040599201,2cyclictest29242-21munin-run2
3040599201,17cyclictest24734-21latency_hist2
3040599201,17cyclictest2082-21systemd-journal2
3040599201,17cyclictest13375-21awk2
3040599201,17cyclictest13375-21awk2
30405992011,6cyclictest505-21dbus-daemon2
3040599200,3cyclictest14278-21munin-run2
3040599200,18cyclictest7573-21munin-run2
3040599200,18cyclictest3252-21cat2
30401992015,3cyclictest9411-21/usr/sbin/munin1
30401992015,3cyclictest7470-21/usr/sbin/munin1
30401992015,3cyclictest11795-21ls1
30401992014,4cyclictest27433-21df1
30401992014,4cyclictest27433-21df1
30401992014,4cyclictest27052-21seq1
30401992014,4cyclictest24386-21/usr/sbin/munin1
30401992014,4cyclictest20327-21cat1
30401992014,4cyclictest18502-21gltestperf1
30401992014,4cyclictest14204-21seq1
30401992014,4cyclictest12039-21seq1
30401992014,3cyclictest30932-21sh1
30401992013,4cyclictest16215-21expr1
3040199200,17cyclictest31757-21timerwakeupswit1
3039799209,6cyclictest4804-21apt-get0
30397992017,1cyclictest0-21swapper/00
30397992016,2cyclictest6814-21/usr/sbin/munin0
30397992016,2cyclictest21788-21ntpq0
30397992015,3cyclictest3752-21expr0
30397992015,3cyclictest32240-21threads0
30397992015,3cyclictest31825-21/usr/sbin/munin0
30397992015,3cyclictest31153-21irqstats0
30397992015,3cyclictest24759-21grep0
30397992015,3cyclictest2082-21systemd-journal0
30397992015,3cyclictest14870-21sed0
3039799201,4cyclictest32496-21munin-node0
30397992014,4cyclictest30736-21which0
30397992013,4cyclictest22044-21latency0
3039799201,2cyclictest111rcu_preempt0
294192200,1sleep10-21swapper/11
30410991916,2cyclictest0-21swapper/33
30410991915,2cyclictest25267-21ntp_offset3
30410991915,2cyclictest17720-21timerandwakeup3
30410991914,3cyclictest6736-21grep3
30410991914,3cyclictest4902-21aten2_r9power_v3
30410991914,3cyclictest32707-21awk3
30410991914,3cyclictest29740-21cpuspeed_turbos3
30410991914,3cyclictest24308-21unixbench_singl3
30410991914,3cyclictest21867-21cpuspeed_turbos3
30410991914,3cyclictest19927-21cat3
30410991914,3cyclictest19504-21grep3
30410991914,3cyclictest17816-21cpuspeed_turbos3
30410991914,3cyclictest11328-21ntpq3
30410991913,4cyclictest7736-21expr3
30410991913,4cyclictest22819-21date3
30410991913,4cyclictest15611-21swap3
30410991913,4cyclictest15213-21ls3
30410991913,4cyclictest12296-21ntp_kernel_err3
30410991912,5cyclictest5332-21tr3
30405991913,4cyclictest29650-21sed2
30405991912,4cyclictest1160-21cron2
30405991911,4cyclictest2082-21systemd-journal2
30405991910,6cyclictest505-21dbus-daemon2
3040599190,17cyclictest21118-21latency_hist2
3040599190,17cyclictest12680-21cron2
3040199192,15cyclictest7894-21gltestperf1
30401991917,1cyclictest0-21swapper/11
30401991915,2cyclictest733-21cut1
30401991915,2cyclictest32522-21/usr/sbin/munin1
30401991915,2cyclictest23387-21/usr/sbin/munin1
30401991915,2cyclictest20932-21/usr/sbin/munin1
30401991915,2cyclictest17559-21/usr/sbin/munin1
30401991915,2cyclictest13495-21/usr/sbin/munin1
30401991915,2cyclictest13495-21/usr/sbin/munin1
30401991914,3cyclictest5897-21sed1
30401991914,3cyclictest5851-21expr1
30401991914,3cyclictest3418-21expr1
30401991914,3cyclictest31139-21aten2_r9power_e1
30401991914,3cyclictest27945-21expr1
30401991914,3cyclictest27582-21sed1
30401991914,3cyclictest21704-21seq1
30401991914,3cyclictest16916-21cat1
30401991913,4cyclictest14951-21seq1
30401991913,4cyclictest13608-21apt-get1
30401991913,4cyclictest13026-21hostname1
30401991913,3cyclictest4226-21ls1
30401991913,3cyclictest2082-21systemd-journal1
30401991912,4cyclictest683-21apt-get1
30397991916,2cyclictest0-21swapper/00
30397991916,2cyclictest0-21swapper/00
30397991916,2cyclictest0-21swapper/00
30397991915,2cyclictest29483-21/usr/sbin/munin0
30397991915,2cyclictest22904-21sed0
30397991915,2cyclictest19980-21/usr/sbin/munin0
30397991914,3cyclictest4431-21/usr/sbin/munin0
30397991914,3cyclictest3679-21seq0
30397991914,3cyclictest32522-21/usr/sbin/munin0
30397991914,3cyclictest27850-21cpu0
30397991914,3cyclictest25745-21expr0
30397991914,3cyclictest19514-21seq0
30397991914,3cyclictest15880-21grep0
30397991913,4cyclictest505-21dbus-daemon0
30397991913,4cyclictest2082-21systemd-journal0
30397991913,4cyclictest10098-21wc0
30397991912,4cyclictest6396-21grep0
30397991910,4cyclictest5469-21apt-get0
157012190,4sleep228-21ksoftirqd/22
3041099186,10cyclictest31556-21ls3
30410991814,2cyclictest30527-21/usr/sbin/munin3
30410991814,2cyclictest27924-21open_inodes3
30410991814,2cyclictest27924-21open_inodes3
30410991814,2cyclictest21991-21if_err_enp3s03
30410991813,3cyclictest9699-21ntp_kernel_err3
30410991813,3cyclictest960-21ntp_offset3
30410991813,3cyclictest7911-21df3
30410991813,3cyclictest6396-21cat3
30410991813,3cyclictest4321-21sed3
30410991813,3cyclictest3527-21ls3
30410991813,3cyclictest32372-21grep3
30410991813,3cyclictest28455-21memory3
30410991813,3cyclictest17211-21cpuspeed3
30410991813,3cyclictest14502-21open_inodes3
30410991813,3cyclictest1418-21basename3
30410991813,3cyclictest1376-21acpi3
30410991813,3cyclictest12296-21memory3
30410991813,3cyclictest12296-21memory3
30410991813,3cyclictest1070-21expr3
30410991813,3cyclictest10216-21cat3
30410991812,4cyclictest29457-21expr3
30410991812,4cyclictest13860-21cat3
30410991812,4cyclictest13860-21cat3
30405991815,2cyclictest0-21swapper/22
30405991815,2cyclictest0-21swapper/22
30405991815,2cyclictest0-21swapper/22
30405991813,3cyclictest29946-21ntp_states2
30405991813,3cyclictest18763-21sh2
30405991811,4cyclictest22905-21cut2
30401991814,2cyclictest6814-21/usr/sbin/munin1
30401991814,2cyclictest5053-21/usr/sbin/munin1
30401991814,2cyclictest15664-21sed1
30401991814,2cyclictest1369-21/usr/sbin/munin1
30401991813,3cyclictest665-21runrttasks1
30401991813,3cyclictest32204-21cat1
30401991813,3cyclictest2606-21expr1
30401991813,3cyclictest23652-21/usr/sbin/munin1
30401991813,3cyclictest18576-21/usr/sbin/munin1
30401991813,3cyclictest17241-21ls1
30401991813,3cyclictest15524-21/usr/sbin/munin1
30401991813,3cyclictest11589-21latency1
30401991812,4cyclictest29468-21seq1
30401991812,4cyclictest26912-21seq1
3039799188,8cyclictest8726-21unixbench_multi0
3039799187,9cyclictest24595-21cut0
3039799183,9cyclictest26427-21apt-get0
30397991814,2cyclictest32496-21munin-node0
30397991814,2cyclictest0-21swapper/00
30397991813,3cyclictest665-21runrttasks0
30397991813,3cyclictest665-21runrttasks0
30397991813,3cyclictest4729-21cat0
30397991813,3cyclictest3971-21which0
30397991813,3cyclictest2763-21grep0
30397991813,3cyclictest25704-21ls0
30397991813,3cyclictest22681-21gzip0
3039799181,2cyclictest0-21swapper/00
30397991812,4cyclictest1120-21latency_hist0
30397991812,3cyclictest17638-21aten2.4-expect0
3039799180,2cyclictest111rcu_preempt0
3041099177,8cyclictest28208-21turbostat3
30410991712,3cyclictest665-21runrttasks3
30410991712,3cyclictest4772-21ls3
30410991712,3cyclictest28631-21cpuspeed3
30410991712,3cyclictest27828-21cat3
30410991712,3cyclictest15524-21/usr/sbin/munin3
30410991711,3cyclictest3876-21cat3
30405991714,2cyclictest0-21swapper/22
30405991712,3cyclictest665-21runrttasks2
30405991711,4cyclictest15399-21sed2
30405991711,4cyclictest15399-21sed2
30405991711,3cyclictest31880-21sed2
30405991710,3cyclictest0-21swapper/22
3040599170,16cyclictest0-21swapper/22
3040199172,9cyclictest29768-21apt-get1
30401991712,3cyclictest6233-21entropy1
30401991711,4cyclictest13416-21date1
30401991711,4cyclictest13416-21date1
30401991711,3cyclictest10491-21which1
3040199170,15cyclictest0-21swapper/11
3039799172,13cyclictest27586-21aten2_r9power_v0
3039799172,12cyclictest27062-21grep0
30397991713,2cyclictest665-21runrttasks0
30397991712,3cyclictest9-21ksoftirqd/00
30397991712,3cyclictest19786-21sort0
30397991712,3cyclictest19355-21apt-get0
30410991611,3cyclictest824-21cpu3
30410991611,3cyclictest7614-21cat3
30410991611,3cyclictest2856-21cut3
30410991611,3cyclictest27035-21unixbench_singl3
30410991611,3cyclictest18923-21awk3
30410991610,4cyclictest15947-21aten2_r9power_c3
3040599160,14cyclictest3887-21cron2
3039799164,10cyclictest1759-21cstates0
3041099158,4cyclictest13428-21gltestperf3
30397991513,1cyclictest0-21swapper/00
30397991513,1cyclictest0-21swapper/00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional