You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-07 - 00:21
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Sat Dec 06, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
308452302265,24sleep30-21swapper/33
298272283213,60sleep10-21swapper/11
3129299268261,4cyclictest30063-21sendmail0
3129599253245,5cyclictest30083-21sendmail1
311002246209,25sleep00-21swapper/00
309402240202,25sleep20-21swapper/22
1161221580,3sleep33130699cyclictest3
3130299107102,3cyclictest30049-21munin-run2
313069910298,2cyclictest30081-21awk3
66762660,3sleep10-21swapper/11
45232580,3sleep335-21ksoftirqd/33
31295995015,20cyclictest3580-21seq1
31295994716,18cyclictest17146-21seq1
133242470,3sleep121-21ksoftirqd/11
12482430,1sleep20-21swapper/22
217622410,1sleep00-21swapper/00
181132410,2sleep20-21swapper/22
155762410,2sleep10-21swapper/11
81422400,11sleep335-21ksoftirqd/33
31295993710,13cyclictest665-21runrttasks1
31295993710,13cyclictest665-21runrttasks1
31292993714,5cyclictest23787-21grep0
73152350,1sleep0101rcuc/00
36642350,2sleep00-21swapper/00
44092340,1sleep30-21swapper/33
31295993311,19cyclictest23234-21expr1
3129599324,4cyclictest505-21dbus-daemon1
31295993210,19cyclictest5046-21run-parts1
31295993210,19cyclictest19720-21tr1
31295993210,19cyclictest19720-21tr1
31295993210,19cyclictest1116-21cat1
3129599319,19cyclictest27526-21date1
31295993115,13cyclictest505-21dbus-daemon1
31295993114,15cyclictest10740-21cat1
31295993114,14cyclictest18338-21expr1
31295993113,15cyclictest18048-21seq1
31295993113,15cyclictest12998-21cat1
31295993112,16cyclictest25135-21expr1
31295993111,17cyclictest21093-21expr1
31295993110,18cyclictest23315-21cut1
3129599310,4cyclictest29935-21cat1
31295993015,12cyclictest27655-21sh1
31295993014,14cyclictest14271-21/usr/sbin/munin1
31295993013,14cyclictest31147-21seq1
31295993011,16cyclictest10967-21seq1
3129599299,17cyclictest13162-21seq1
31295992913,13cyclictest665-21runrttasks1
31295992912,15cyclictest4944-21df1
31295992912,14cyclictest31944-21expr1
3129599290,3cyclictest18352-21apt-get1
31302992810,15cyclictest16461-21cron2
3129599288,18cyclictest9583-21cat1
3129599287,19cyclictest604-21sendmail-mta1
3129599286,4cyclictest24572-21readlink1
31295992811,15cyclictest10097-21seq1
31295992811,15cyclictest10097-21seq1
3130299277,3cyclictest5156-21sendmail-mta2
3130299277,3cyclictest5156-21sendmail-mta2
3129599278,16cyclictest7667-21cpuspeed_turbos1
3129599278,16cyclictest32426-21missed_timers1
3129599278,16cyclictest2780-21cut1
31295992712,13cyclictest18141-21latency1
31295992711,14cyclictest21-21ksoftirqd/11
3129599270,11cyclictest17574-21cron1
3129599268,16cyclictest2082-21systemd-journal1
3129599268,15cyclictest994-21cat1
3129599268,15cyclictest4357-21cstates1
3129599268,15cyclictest0-21swapper/11
3129599262,4cyclictest12382-21munin-run1
31295992613,11cyclictest19036-21/usr/sbin/munin1
3129599259,14cyclictest76822chrt1
3129599259,13cyclictest20232chrt1
3129599258,14cyclictest1672-21gltestperf1
3129599258,14cyclictest0-21swapper/11
3129599257,3cyclictest7765-21grep1
3129599257,15cyclictest26284-21sh1
3129599256,3cyclictest16816-21touch1
3129599255,6cyclictest0-21swapper/11
31306992417,4cyclictest1655-21df3
3129599247,3cyclictest31466-21cat1
3129599247,2cyclictest7169-21latency_hist1
3129599246,15cyclictest153052chrt1
3129599243,3cyclictest0-21swapper/11
3129599241,9cyclictest21903-21apt-get1
3129599241,3cyclictest3269-21apt-get1
3129599241,3cyclictest3269-21apt-get1
31295992411,11cyclictest23110-21/usr/sbin/munin1
31295992411,11cyclictest23110-21/usr/sbin/munin1
31292992418,4cyclictest12390-21sendmail0
31292992416,4cyclictest28039-21basename0
70572230,3sleep00-21swapper/00
3130299237,13cyclictest11062-21latency_hist2
3130299232,18cyclictest23277-21latency_hist2
3130299231,5cyclictest10333-21gdbus2
3130299231,5cyclictest10333-21gdbus2
3130299231,4cyclictest20125-21munin-run2
3130299231,4cyclictest10333-21gdbus2
3130299231,19cyclictest16091-21perf2
3129599235,3cyclictest9755-21seq1
3129599234,4cyclictest0-21swapper/11
3129599231,4cyclictest29363-21sendmail1
3130299222,17cyclictest26919-21latency_hist2
3130299221,4cyclictest5820-21procmail2
3130299221,4cyclictest20842-21sendmail2
3129599221,4cyclictest26922-21munin-run1
31292992217,3cyclictest18088-21cron0
31292992217,3cyclictest14438-21sh0
31292992216,3cyclictest5308-21grep0
31292992215,4cyclictest3320-21ntpq0
31292992213,5cyclictest23220-21aten2.4-expect0
31292992213,5cyclictest23220-21aten2.4-expect0
31292992212,6cyclictest5778-21systemctl0
31306992116,3cyclictest7386-21nfs4_client3
31306992116,3cyclictest18826-21users3
31306992116,3cyclictest15592-21unixbench_multi3
31306992115,4cyclictest19998-21idleruntime3
31306992115,4cyclictest19998-21idleruntime3
31306992114,4cyclictest8279-21pluginstate3
31306992114,4cyclictest25588-21diskstats3
31306992114,4cyclictest25506-21cat3
3130299214,15cyclictest17603-21latency_hist2
3130299212,17cyclictest31501-21cat2
3130299212,17cyclictest29336-21latency_hist2
3130299212,17cyclictest18786-21cron2
31302992116,3cyclictest9238-21sed2
3130299211,5cyclictest29242-21cron2
31302992115,4cyclictest21622-21sendmail2
31302992115,4cyclictest21622-21sendmail2
3130299211,4cyclictest28550-21munin-run2
3130299211,4cyclictest25695-21munin-run2
3130299211,17cyclictest27755-1kworker/2:1H2
31302992110,6cyclictest6051-21apt-get2
31292992116,3cyclictest29606-21/usr/sbin/munin0
31292992116,3cyclictest23908-21/usr/sbin/munin0
31292992114,4cyclictest505-21dbus-daemon0
31292992114,4cyclictest15525-21cut0
31292992113,4cyclictest18819-21idleruntime-cro0
3129299211,18cyclictest10333-21gdbus0
235932210,1sleep20-21swapper/22
235932210,1sleep20-21swapper/22
220052210,2sleep30-21swapper/33
60542200,2sleep30-21swapper/33
31306992016,2cyclictest10001-21if_err_enp3s03
31306992015,3cyclictest7010-21idleruntime-cro3
31306992015,3cyclictest32351-21ntpq3
31306992015,3cyclictest26192-21kernelversion3
31306992015,3cyclictest23567-21forks3
31306992015,3cyclictest23567-21forks3
31306992015,3cyclictest19888-21nfs4_client3
31306992015,3cyclictest1973-21cut3
31306992015,3cyclictest18850-21processes3
31306992014,4cyclictest4480-21expr3
31306992014,4cyclictest32006-21fw_packets3
31306992014,4cyclictest27954-21cat3
31306992014,4cyclictest23141-21df_inode3
31306992014,4cyclictest11658-21run-parts3
31306992014,4cyclictest10494-21cat3
31306992014,3cyclictest21128-21diskstats3
3130299203,16cyclictest0-21swapper/22
31302992015,3cyclictest4357-21cat2
31302992015,3cyclictest30313-21/usr/sbin/munin2
31302992015,3cyclictest1933-21sed2
3130299201,4cyclictest4994-21basename2
31302992014,4cyclictest4773-21ls2
31302992014,4cyclictest31436-21sed2
31302992014,4cyclictest2076-21cut2
31302992014,4cyclictest18923-21sed2
31302992014,4cyclictest14063-21wc2
31302992013,5cyclictest12004-21sendmail2
31302992013,4cyclictest24942-21cat2
3130299201,17cyclictest4739-1kworker/2:1H2
3130299201,17cyclictest23681-21idleruntime-cro2
3130299201,17cyclictest17315-21cat2
3130299201,17cyclictest0-21swapper/22
3130299201,16cyclictest505-21dbus-daemon2
3130299201,16cyclictest505-21dbus-daemon2
3130299200,5cyclictest32660-21sendmail-mta2
3130299200,18cyclictest955-1kworker/2:0H2
3129299202,11cyclictest17442-21taskset0
31292992017,2cyclictest0-21swapper/00
31292992016,2cyclictest1946-21/usr/sbin/munin0
31292992015,3cyclictest31547-21/usr/sbin/munin0
31292992015,3cyclictest2967-21sed0
31292992015,3cyclictest19220-21ntp_states0
31292992015,3cyclictest10432-21sed0
31292992014,4cyclictest27019-21apt-key0
31292992014,4cyclictest19832-21/usr/sbin/munin0
31292992014,4cyclictest19832-21/usr/sbin/munin0
31292992014,4cyclictest10093-21/usr/sbin/munin0
31292992012,5cyclictest768-21ntpq0
31292992012,4cyclictest3718-21cron0
3129299200,17cyclictest30482-21cpu0
3130699199,8cyclictest0-21swapper/33
3130699193,9cyclictest16332-21apt-get3
31306991915,2cyclictest9260-21timerandwakeup3
31306991914,3cyclictest6396-21swap3
31306991914,3cyclictest3509-21cpuspeed_turbos3
31306991914,3cyclictest3509-21cpuspeed_turbos3
31306991914,3cyclictest30980-21cpu3
31306991914,3cyclictest2926-21proc_pri3
31306991914,3cyclictest26035-21mktemp3
31306991914,3cyclictest25788-21which3
31306991914,3cyclictest2463-21acpi3
31306991914,3cyclictest2383-21entropy3
31306991914,3cyclictest21842-21memory3
31306991914,3cyclictest21621-21latency_hist3
31306991914,3cyclictest21621-21latency_hist3
31306991914,3cyclictest17430-21expr3
31306991914,3cyclictest16381-21if_enp3s03
31306991914,3cyclictest13820-21aten2_r9power_e3
31306991914,3cyclictest13702-21sendmail_mailst3
31306991914,3cyclictest13630-21tr3
31306991914,3cyclictest1155-21timerwakeupswit3
31306991913,4cyclictest9782-21grep3
31306991913,4cyclictest30692-21expr3
31306991913,4cyclictest29560-21cut3
31306991913,4cyclictest18768-21df_inode3
31306991913,4cyclictest15730-21seq3
31306991913,4cyclictest10333-21gdbus3
3130299197,3cyclictest28-21ksoftirqd/22
3130299193,6cyclictest13375-21apt-get2
3130299192,5cyclictest21108-21apt-get2
3130299192,1cyclictest0-21swapper/22
31302991916,2cyclictest0-21swapper/22
31302991916,2cyclictest0-21swapper/22
31302991914,3cyclictest808-21latency_hist2
31302991914,3cyclictest5215-21/usr/sbin/munin2
31302991913,4cyclictest4250-21sendmail2
3130299191,16cyclictest11159-21latency_hist2
3130299190,17cyclictest3822-21cat2
3129299194,9cyclictest4528-21apt-get0
3129299194,4cyclictest111rcu_preempt0
3129299194,4cyclictest111rcu_preempt0
31292991916,2cyclictest4001-21kworker/0:20
31292991916,2cyclictest0-21swapper/00
31292991916,2cyclictest0-21swapper/00
31292991916,2cyclictest0-21swapper/00
31292991916,2cyclictest0-21swapper/00
31292991915,2cyclictest11302-21/usr/sbin/munin0
31292991914,3cyclictest27178-21cat0
31292991914,3cyclictest21334-21date0
31292991914,3cyclictest21334-21date0
31292991914,3cyclictest17811-21/usr/sbin/munin0
31292991914,3cyclictest14672-21/usr/sbin/munin0
31292991914,3cyclictest10369-21perf0
31292991914,3cyclictest10369-21perf0
31292991913,4cyclictest21323-21cat0
31292991913,4cyclictest20883-21grep0
31292991912,4cyclictest13100-21grep0
140492190,2sleep20-21swapper/22
31306991814,2cyclictest494-21aten2_r9power_p3
31306991814,2cyclictest31643-21/usr/sbin/munin3
31306991813,3cyclictest6427-21expr3
31306991813,3cyclictest30691-21sed3
31306991813,3cyclictest27266-21readlink3
31306991813,3cyclictest12552-21timerwakeupswit3
31306991812,4cyclictest24118-21cat3
31302991813,3cyclictest1646-21sed2
31302991813,3cyclictest0-21swapper/22
31302991812,4cyclictest18140-21date2
3129299189,5cyclictest16956-21timerandwakeup0
3129299189,4cyclictest26669-21lldpd0
31292991815,2cyclictest0-21swapper/00
31292991814,3cyclictest1225-21/usr/sbin/munin0
31292991814,2cyclictest27910-21cstates0
31292991813,3cyclictest9157-21wc0
31292991813,3cyclictest8444-21sed0
31292991813,3cyclictest5638-21expr0
31292991813,3cyclictest5311-21/usr/sbin/munin0
31292991813,3cyclictest31870-21cpuspeed0
31292991813,3cyclictest15146-21idleruntime-cro0
31292991812,4cyclictest665-21runrttasks0
31292991811,4cyclictest26537-21idleruntime-cro0
3130699175,10cyclictest16465-21munin-run3
31306991712,3cyclictest21906-21seq3
31306991712,3cyclictest12588-21expr3
31306991710,4cyclictest8719-21sh3
31306991710,4cyclictest8719-21sh3
3130299179,4cyclictest31661-21apt-get2
31302991712,3cyclictest15542-21sh2
3130299171,14cyclictest0-21swapper/22
31302991710,4cyclictest26305-21aten2_r9power_e2
3130299170,1cyclictest0-21swapper/22
31292991713,2cyclictest12251-21/usr/sbin/munin0
31292991712,3cyclictest665-21runrttasks0
31292991712,3cyclictest665-21runrttasks0
31292991712,3cyclictest27513-21aten2.4-expect0
3130299163,7cyclictest20706-21apt-get2
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional