You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-17 - 21:16
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Wed Dec 17, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
19372317280,25sleep20-21swapper/22
19002317280,25sleep00-21swapper/00
20332294259,24sleep10-21swapper/11
224999276269,5cyclictest18941-21strings0
19602259169,55sleep30-21swapper/33
226699179176,2cyclictest0-21swapper/33
225799128124,2cyclictest0-21swapper/11
226299105101,2cyclictest0-21swapper/22
59142450,3sleep30-21swapper/33
220342430,3sleep00-21swapper/00
310852400,1sleep10-21swapper/11
184092340,1sleep30-21swapper/33
226699298,18cyclictest0-21swapper/33
134852290,10sleep121-21ksoftirqd/11
226699276,4cyclictest0-21swapper/33
2266992710,14cyclictest35-21ksoftirqd/33
243222260,2sleep20-21swapper/22
226699267,17cyclictest35-21ksoftirqd/33
2262992614,3cyclictest26102-21sed2
286592250,2sleep30-21swapper/33
226699257,3cyclictest35-21ksoftirqd/33
226699253,19cyclictest515-21avahi-daemon3
226699253,17cyclictest18491-21sendmail-mta3
226299253,13cyclictest28843-21tr2
2262992512,3cyclictest7641-21grep2
2257992520,3cyclictest7849-21munin-plugin-st1
226699244,17cyclictest10041-21sendmail-mta3
2266992416,5cyclictest7078-21ls3
226699241,20cyclictest517-21dbus-daemon3
2266992410,12cyclictest35-21ksoftirqd/33
49192230,3sleep00-21swapper/00
226699235,2cyclictest0-21swapper/33
226699234,4cyclictest35-21ksoftirqd/33
226699234,3cyclictest0-21swapper/33
226699234,17cyclictest6435-21sendmail-mta3
226699233,17cyclictest13184-21latency_hist3
226699232,3cyclictest0-21swapper/33
2257992312,7cyclictest25972-21apt-get1
74322220,2sleep30-21swapper/33
226699224,16cyclictest30690-21sendmail-mta3
226699224,16cyclictest14100-21sendmail-mta3
226699223,17cyclictest3226-21cat3
226699223,17cyclictest26626-21sendmail-mta3
226699223,17cyclictest21353-21awk3
226699223,17cyclictest11230-21cat3
226699222,3cyclictest0-21swapper/33
226699222,3cyclictest0-21swapper/33
226699222,17cyclictest14886-21sendmail-mta3
226699221,19cyclictest15492-21basename3
2257992214,5cyclictest31580-21apt-get1
2249992211,9cyclictest30946-21if_err_enp3s00
226699219,10cyclictest6839-1kworker/3:2H3
226699218,4cyclictest35-21ksoftirqd/33
226699218,11cyclictest23959-21sendmail3
226699213,16cyclictest3631-21sendmail-mta3
226699213,16cyclictest3631-21sendmail-mta3
226699212,2cyclictest0-21swapper/33
226699212,17cyclictest28789-21cat3
226699212,17cyclictest23026-21sendmail-mta3
2266992116,3cyclictest35-21ksoftirqd/33
2266992116,3cyclictest16274-21cron3
2266992115,4cyclictest9162-21sendmail-mta3
226699211,4cyclictest936-21sendmail3
2266992112,3cyclictest111rcu_preempt3
2266992112,3cyclictest111rcu_preempt3
226699211,17cyclictest6839-1kworker/3:2H3
226699211,17cyclictest29324-21cat3
2262992116,3cyclictest2859-21ntpq2
2262992116,3cyclictest2859-21ntpq2
2262992113,5cyclictest15402-21seq2
2257992114,4cyclictest517-21dbus-daemon1
2257992114,4cyclictest29314-21idleruntime-cro1
2249992115,4cyclictest4774-21seq0
2249992110,9cyclictest9-21ksoftirqd/00
257752200,2sleep00-21swapper/00
226699207,4cyclictest35-21ksoftirqd/33
226699204,15cyclictest24741-21sendmail3
226699202,16cyclictest7055-21cat3
2266992016,2cyclictest0-21swapper/33
2266992015,3cyclictest35-21ksoftirqd/33
226699201,3cyclictest19172-1kworker/3:2H3
2266992012,5cyclictest1740-21systemctl3
226699201,17cyclictest6839-1kworker/3:2H3
226299208,10cyclictest15871-21sed2
2262992015,3cyclictest7470-21users2
2262992015,3cyclictest10013-21idleruntime2
2262992014,4cyclictest30746-21df_inode2
2262992014,4cyclictest27773-21memory2
2262992014,4cyclictest22488-21seq2
2262992013,4cyclictest3651-21grep2
2257992015,3cyclictest634-21snmpd1
2257992014,4cyclictest25839-21expr1
2257992014,4cyclictest23372-21df1
2257992014,4cyclictest16740-21mktemp1
2257992013,4cyclictest6974-21seq1
2249992017,2cyclictest0-21swapper/00
2249992015,3cyclictest4897-21aten2_r9power_p0
2249992015,3cyclictest13190-21cut0
2249992014,4cyclictest634-21snmpd0
1152622014,3sleep211688-21awk2
226699199,3cyclictest35-21ksoftirqd/33
2266991916,2cyclictest0-21swapper/33
2266991914,3cyclictest31317-21sed3
226699191,16cyclictest4117-21latency_hist3
226299197,9cyclictest70322chrt2
226299197,10cyclictest13335-21ntp_kernel_pll_2
226299194,5cyclictest662-21runrttasks2
226299194,5cyclictest21698-21grep2
2262991915,2cyclictest7170-21aten2.4-expect2
2262991915,2cyclictest23567-21uptime2
2262991914,3cyclictest9425-21sed2
2262991914,3cyclictest7684-21expr2
2262991914,3cyclictest3655-21cat2
2262991914,3cyclictest29484-21sh2
2262991914,3cyclictest29149-21ntp_kernel_pll_2
2262991914,3cyclictest24130-21timerandwakeup2
2262991914,3cyclictest1340-21if_err_enp3s02
2262991914,3cyclictest12809-21users2
2262991913,4cyclictest28252-21memory2
2262991913,4cyclictest24684-21mailstats2
2262991912,5cyclictest517-21dbus-daemon2
2262991912,5cyclictest25024-21cut2
2262991912,4cyclictest19466-21aten2.4-expect2
2262991912,4cyclictest19466-21aten2.4-expect2
2262991912,4cyclictest18668-21grep2
225799195,11cyclictest6603-21dump-pmu-power1
225799193,9cyclictest638-21ntpd1
225799193,9cyclictest638-21ntpd1
2257991916,2cyclictest0-21swapper/11
2257991916,2cyclictest0-21swapper/11
2257991916,2cyclictest0-21swapper/11
2257991916,2cyclictest0-21swapper/11
2257991916,2cyclictest0-21swapper/11
2257991915,2cyclictest3250-21/usr/sbin/munin1
2257991915,2cyclictest17982-21interrupts1
2257991915,2cyclictest13247-21/usr/sbin/munin1
2257991914,3cyclictest9455-21/usr/sbin/munin1
2257991914,3cyclictest32654-21/usr/sbin/munin1
2257991913,4cyclictest31904-21uname1
2257991913,4cyclictest25920-21pluginstate1
2257991913,4cyclictest20184-21grep1
2257991913,4cyclictest13522-21/usr/sbin/munin1
2257991912,5cyclictest9149-21basename1
225799191,15cyclictest2978-21grep1
224999199,8cyclictest24239-21unixbench-2d0
2249991916,2cyclictest0-21swapper/00
2249991915,2cyclictest6347-21/usr/sbin/munin0
2249991915,2cyclictest13428-21/usr/sbin/munin0
2249991914,3cyclictest9-21ksoftirqd/00
2249991914,3cyclictest22256-21aten2_r9power_p0
2249991914,3cyclictest22245-21nfs4_client0
2249991914,3cyclictest20436-21seq0
2249991914,3cyclictest16845-21/usr/sbin/munin0
2249991914,3cyclictest13247-21/usr/sbin/munin0
2249991913,4cyclictest8403-21/usr/sbin/munin0
2249991913,4cyclictest634-21snmpd0
2249991913,4cyclictest56750irq/130-enp2s00
2249991913,4cyclictest31325-21latency_hist0
2249991913,4cyclictest21299-21seq0
2249991913,4cyclictest10967-21seq0
2249991913,4cyclictest10431-21/usr/sbin/munin0
2266991816,1cyclictest0-21swapper/33
2266991814,2cyclictest341rcuc/33
2266991813,3cyclictest3384-21if_err_enp2s03
2266991813,3cyclictest16384-21cat3
226699181,14cyclictest6567-21gltestperf3
2266991810,3cyclictest111rcu_preempt3
226699180,16cyclictest0-21swapper/33
226299187,3cyclictest303912grep2
2262991814,2cyclictest6823-21/usr/sbin/munin2
2262991814,2cyclictest372-21gltestperf2
2262991814,2cyclictest25616-21aten2.4-expect2
2262991814,2cyclictest18881-21unixbench_singl2
2262991814,2cyclictest16436-21proc_pri2
2262991813,3cyclictest31697-21swap2
2262991813,3cyclictest28075-21cat2
2262991813,3cyclictest20153-21cat2
2262991813,3cyclictest16677-21kernelversion2
2262991813,3cyclictest11632-21expr2
2262991813,3cyclictest10534-21threads2
2262991813,3cyclictest10275-21cut2
2262991812,4cyclictest32141-21mailstats2
2262991812,4cyclictest3068-21sed2
2262991812,4cyclictest2066-21cat2
2262991812,4cyclictest20556-21df2
2262991812,4cyclictest15070-21sendmail-mta2
2262991812,3cyclictest10814-21expr2
226299181,15cyclictest4605-21tr2
226299180,16cyclictest0-21swapper/22
225799183,9cyclictest21589-21apt-get1
2257991816,1cyclictest0-21swapper/11
2257991816,1cyclictest0-21swapper/11
2257991816,1cyclictest0-21swapper/11
2257991815,2cyclictest0-21swapper/11
2257991814,2cyclictest30598-21/usr/sbin/munin1
2257991814,2cyclictest24645-21ps1
2257991814,2cyclictest24212-21/usr/sbin/munin1
2257991813,3cyclictest6823-21/usr/sbin/munin1
2257991813,3cyclictest662-21runrttasks1
2257991813,3cyclictest6381-21cut1
2257991813,3cyclictest5417-21cstates1
2257991813,3cyclictest31156-21seq1
2257991813,3cyclictest23422-21/usr/sbin/munin1
2257991813,3cyclictest20395-21awk1
2257991813,3cyclictest18385-21ntpq1
2257991812,4cyclictest22139-21cat1
2257991812,4cyclictest20206-21aten2.4-expect1
2257991812,4cyclictest16591-21wc1
2257991812,4cyclictest14974-21grep1
2257991812,4cyclictest14551-21sed1
2257991812,4cyclictest11933-21sed1
2257991812,3cyclictest15416-21aten2.4-expect1
2257991812,3cyclictest10221-21sed1
2257991811,5cyclictest3283-21unixbench-2d1
2257991811,5cyclictest3283-21unixbench-2d1
2257991811,5cyclictest11010-21sendmail-mta1
2249991816,1cyclictest0-21swapper/00
2249991816,1cyclictest0-21swapper/00
224999181,4cyclictest0-21swapper/00
2249991814,2cyclictest8088-21/usr/sbin/munin0
2249991814,2cyclictest28638-21cat0
2249991813,3cyclictest9618-21sed0
2249991813,3cyclictest8692-21cat0
2249991813,3cyclictest6946-21date0
2249991813,3cyclictest634-21snmpd0
2249991813,3cyclictest4434-21aten2.4-expect0
2249991813,3cyclictest3756-21seq0
2249991813,3cyclictest3756-21seq0
2249991813,3cyclictest29002-21sh0
2249991813,3cyclictest2761-21/usr/sbin/munin0
2249991813,3cyclictest27029-21cat0
2249991813,3cyclictest17603-21aten2_r9power_p0
2249991813,3cyclictest14483-21seq0
2249991813,3cyclictest12699-21ls0
2249991813,3cyclictest12324-21ls0
2249991813,3cyclictest1153-21sh0
2249991813,3cyclictest10122-21load0
2249991812,4cyclictest634-21snmpd0
2249991812,4cyclictest31440-21grep0
2249991812,4cyclictest28885-21mii-tool0
2249991812,4cyclictest2861-21expr0
2249991812,4cyclictest20513-21expr0
2249991812,4cyclictest1765-21basename0
2249991812,4cyclictest14641-21cat0
2249991812,3cyclictest7210-21aten2_r9power_p0
2249991811,4cyclictest12216-21latency0
2266991712,3cyclictest6959-21if_err_enp2s03
2262991713,2cyclictest8676-21if_enp2s02
2262991713,2cyclictest15929-21irqstats2
2262991712,3cyclictest662-21runrttasks2
2262991712,3cyclictest3615-21nfs4_client2
2262991712,3cyclictest26486-21expr2
2262991712,3cyclictest2558-21aten2_r9power_v2
2262991711,4cyclictest517-21dbus-daemon2
2262991711,4cyclictest17459-21if_err_enp2s02
2257991715,1cyclictest0-21swapper/11
2257991712,3cyclictest29048-21/usr/sbin/munin1
2257991712,3cyclictest2761-21/usr/sbin/munin1
2257991712,3cyclictest11491-21/usr/sbin/munin1
2257991712,3cyclictest11217-21/usr/sbin/munin1
225799170,1cyclictest0-21swapper/11
2249991715,1cyclictest0-21swapper/00
2249991715,1cyclictest0-21swapper/00
2249991715,1cyclictest0-21swapper/00
2249991712,3cyclictest662-21runrttasks0
2249991712,3cyclictest662-21runrttasks0
2249991712,3cyclictest15925-21interrupts0
224999171,14cyclictest6346-21cut0
2249991711,4cyclictest25480-21grep0
2249991711,4cyclictest22549-21sendmail-mta0
2249991711,3cyclictest16816-21grep0
2262991611,3cyclictest4664-21pmu-power2
2262991611,3cyclictest20278-21cat2
2257991612,2cyclictest662-21runrttasks1
2257991611,3cyclictest10424-21seq1
2257991510,3cyclictest4263-21cpuspeed_turbos1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional