You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-14 - 06:05
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Fri Nov 14, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
227852315278,24sleep10-21swapper/11
227792303266,24sleep00-21swapper/00
229712285217,55sleep30-21swapper/33
2329199268264,2cyclictest0-21swapper/22
228442260193,25sleep20-21swapper/22
2328399212206,3cyclictest9292-21strings0
2329699209205,2cyclictest0-21swapper/33
2328899206201,2cyclictest0-21swapper/11
319372580,2sleep10-21swapper/11
114652510,2sleep20-21swapper/22
2329199398,8cyclictest15161-21cat2
2329199397,9cyclictest22859-21dump-pmu-power2
2329199392,27cyclictest0-21swapper/22
2329199386,9cyclictest12803-21grep2
2329199386,21cyclictest16535-21sort2
242132370,1sleep10-21swapper/11
2329199379,10cyclictest17272-21/usr/sbin/munin2
2329199378,7cyclictest29763-21/usr/sbin/munin2
2329199378,15cyclictest5229-21cstates2
2329199377,8cyclictest5213-21latency_hist2
2329199369,10cyclictest31407-21awk2
2329199368,9cyclictest16800-21date2
2329199368,9cyclictest13299-21sed2
2329199368,10cyclictest25335-21apt-config2
2329199365,9cyclictest0-21swapper/22
23291993618,9cyclictest23506-21sed2
2329199358,9cyclictest7684-21sed2
2329199358,10cyclictest6630-21sed2
2329199357,7cyclictest2522-21idleruntime-cro2
2329199354,9cyclictest0-21swapper/22
2329199354,8cyclictest0-21swapper/22
2329199352,24cyclictest0-21swapper/22
2329199349,7cyclictest546-21munin-run2
2329199349,14cyclictest8930-21date2
2329199348,15cyclictest4727-21cut2
2329199348,14cyclictest32443-21latency_hist2
23291993410,9cyclictest1701-21ntpq2
2329199339,13cyclictest4040-21cut2
2329199338,9cyclictest442-21munin-run2
2329199338,10cyclictest19374-21sed2
2329199338,10cyclictest14304-21sed2
2329199329,8cyclictest25276-21munin-run2
2329199328,9cyclictest25950-21df_inode2
2329199328,9cyclictest25950-21df_inode2
2329199328,10cyclictest29086-21latency_hist2
2329199327,9cyclictest23243-21latency_hist2
2329199327,9cyclictest18206-21cat2
2329199327,10cyclictest14902-21cat2
2329199319,8cyclictest29996-21ntp_states2
2329199318,8cyclictest27814-21memory2
2329199317,9cyclictest7080-21perf2
2329199317,9cyclictest1756-21idleruntime2
2329199317,13cyclictest12384-21cut2
2329199317,13cyclictest12384-21cut2
2329199317,10cyclictest29372-21awk2
2329199316,9cyclictest21627-21latency_hist2
2329199309,7cyclictest3176-21diskstats2
2329199309,7cyclictest26858-21ntpq2
2329199308,8cyclictest19055-21df_inode2
2329199307,9cyclictest25845-21latency_hist2
2329199307,9cyclictest25845-21latency_hist2
2329199307,8cyclictest8305-21ps2
2329199306,10cyclictest26103-21grep2
2329199296,9cyclictest27007-21latency_hist2
2329199296,13cyclictest28797-21timerwakeupswit2
2329199291,16cyclictest0-21swapper/22
2329199288,7cyclictest21380-21cut2
2329199286,8cyclictest24877-21latency_hist2
2329199286,8cyclictest0-21swapper/22
2329199264,9cyclictest0-21swapper/22
2329199262,8cyclictest0-21swapper/22
2329199262,20cyclictest14335-21idleruntime-cro2
219772260,3sleep335-21ksoftirqd/33
23288992515,3cyclictest26511-21pluginstate1
23283992520,3cyclictest9-21ksoftirqd/00
2329199249,12cyclictest21223-21/usr/sbin/munin2
2329199242,13cyclictest2082-21systemd-journal2
2329199232,8cyclictest0-21swapper/22
2328899236,7cyclictest21-21ksoftirqd/11
2328899236,7cyclictest21-21ksoftirqd/11
2329699221,18cyclictest0-21swapper/33
2329199223,17cyclictest5878-21latency_hist2
23283992216,4cyclictest15758-21sed0
2329699215,3cyclictest242122missed_timers3
23296992116,3cyclictest6199-21open_files3
23296992116,3cyclictest26517-21sh3
23296992116,3cyclictest14421-21swap3
23296992116,3cyclictest1152-21cstates3
23296992115,4cyclictest9867-21open_inodes3
23296992114,4cyclictest18258-21df_inode3
23291992114,5cyclictest30898-21seq2
2328899215,4cyclictest0-21swapper/11
23288992117,2cyclictest21-21ksoftirqd/11
23288992115,4cyclictest5082-21proc_pri1
23288992115,4cyclictest1624-21expr1
23283992115,4cyclictest29111-21sed0
23296992016,2cyclictest13288-21kworker/3:13
23296992015,3cyclictest9757-21open_files3
23296992015,3cyclictest5030-21sh3
23296992015,3cyclictest29568-21threads3
23296992015,3cyclictest28600-21if_err_enp2s03
23296992015,3cyclictest19173-21idleruntime3
23296992014,4cyclictest24022-21pmu-power3
23296992013,4cyclictest1582-21cat3
23296992013,4cyclictest11299-21needreboot3
23296992013,4cyclictest11299-21needreboot3
2329699201,16cyclictest28075-21ls3
23288992016,2cyclictest10480-21/usr/sbin/munin1
23288992016,2cyclictest10480-21/usr/sbin/munin1
23288992015,3cyclictest4637-21sendmail1
23288992015,3cyclictest30720-21seq1
23288992015,3cyclictest19775-21sed1
23288992015,3cyclictest15728-21sed1
23288992015,3cyclictest15415-21cut1
23288992014,4cyclictest6458-21expr1
23288992014,4cyclictest6239-21seq1
23288992014,4cyclictest21961-21ntp_states1
23288992014,4cyclictest20263-21seq1
23288992014,4cyclictest18364-21awk1
23288992013,4cyclictest8196-21cron1
23288992013,4cyclictest20045-21cat1
23288992013,4cyclictest17643-21cat1
23288992012,5cyclictest8964-21apt-get1
23288992010,7cyclictest21475-21apt-get1
23288992010,5cyclictest11398-21apt-get1
2328899200,18cyclictest2694-21cut1
23283992016,2cyclictest9-21ksoftirqd/00
23283992016,2cyclictest19818-21sed0
2328399201,5cyclictest0-21swapper/00
23283992015,3cyclictest8828-21sed0
23283992015,3cyclictest25211-21latency_hist0
23283992014,4cyclictest5309-21sed0
23283992014,4cyclictest2082-21systemd-journal0
23283992014,3cyclictest2841-21apt0
23283992014,3cyclictest11304-21tail0
23283992014,3cyclictest11304-21tail0
2328399200,8cyclictest111rcu_preempt0
145842200,1sleep10-21swapper/11
2329699199,6cyclictest19426-21apt-get3
23296991914,3cyclictest5509-21latency3
23296991914,3cyclictest4537-21diskstats3
23296991914,3cyclictest32571-21sh3
23296991914,3cyclictest32079-21ntpq3
23296991914,3cyclictest31321-21ntp_states3
23296991914,3cyclictest30797-21seq3
23296991914,3cyclictest29864-21memory3
23296991914,3cyclictest27084-21aten2_r9power_c3
23296991914,3cyclictest24374-21ntpq3
23296991914,3cyclictest21825-21expr3
23296991914,3cyclictest2090-21aten2_r9power_e3
23296991914,3cyclictest18770-21sh3
23296991914,3cyclictest17519-21aten2_r9power_v3
23296991914,3cyclictest16992-21seq3
23296991914,3cyclictest15774-21ls3
23296991913,4cyclictest3946-21cat3
23296991913,4cyclictest32016-21expr3
23296991913,4cyclictest16571-21cat3
23296991913,4cyclictest15576-21cat3
2329699191,16cyclictest0-21swapper/33
2329699190,3cyclictest11809-21df3
23291991911,6cyclictest32693-21/usr/sbin/munin2
23288991915,2cyclictest32458-21/usr/sbin/munin1
23288991915,2cyclictest27546-21/usr/sbin/munin1
23288991914,3cyclictest663-21seq1
23288991914,3cyclictest30539-21seq1
23288991914,3cyclictest25523-21acpi1
23288991914,3cyclictest25476-21seq1
23288991914,3cyclictest25476-21seq1
23288991914,3cyclictest24605-21cat1
23288991914,3cyclictest23448-21ls1
23288991914,3cyclictest19913-21hostname1
23288991914,3cyclictest18282-21seq1
23288991914,3cyclictest13167-21ls1
23288991914,3cyclictest12604-21hostname1
23288991913,4cyclictest8845-21seq1
23288991913,4cyclictest630-21cut1
23288991913,4cyclictest2728-21cut1
23288991913,4cyclictest27087-21date1
23288991913,3cyclictest7705-21cat1
23288991913,3cyclictest29622-21cat1
23288991913,3cyclictest11526-21awk1
23288991912,5cyclictest10971-21avahi-daemon1
23288991912,4cyclictest21966-21grep1
2328399198,9cyclictest9-21ksoftirqd/00
2328399191,6cyclictest0-21swapper/00
2328399191,5cyclictest0-21swapper/00
2328399191,5cyclictest0-21swapper/00
23283991915,3cyclictest9-21ksoftirqd/00
23283991915,3cyclictest9-21ksoftirqd/00
23283991914,3cyclictest9-21ksoftirqd/00
23283991914,3cyclictest27484-21date0
23283991914,3cyclictest10597-21sed0
23283991913,4cyclictest19892-21grep0
23283991913,4cyclictest18117-21sed0
23283991913,4cyclictest17401-21sed0
23283991912,4cyclictest10333-21gdbus0
8812181,3sleep03375-21ntpd0
23296991816,1cyclictest0-21swapper/33
23296991813,3cyclictest8660-21cat3
23296991813,3cyclictest3583-21load3
23296991813,3cyclictest28100-21basename3
23296991813,3cyclictest27164-21cat3
23296991813,3cyclictest27164-21cat3
23296991813,3cyclictest26038-21open_files3
23296991813,3cyclictest25776-21sed3
23296991813,3cyclictest25776-21sed3
23296991813,3cyclictest23948-21timerwakeupswit3
23296991813,3cyclictest20229-21expr3
23296991813,3cyclictest17922-21awk3
23296991813,3cyclictest13033-21gltestperf3
23296991813,3cyclictest11970-21swap3
23296991813,3cyclictest11826-21nfs4_client3
23296991812,4cyclictest26363-21expr3
23296991812,4cyclictest19490-21grep3
23296991811,5cyclictest26010-21gltestperf3
2329699180,16cyclictest13684-21/usr/sbin/munin3
23288991814,2cyclictest27148-21/usr/sbin/munin1
23288991814,2cyclictest21898-21/usr/sbin/munin1
23288991814,2cyclictest2035-21/usr/sbin/munin1
23288991814,2cyclictest15884-21expr1
23288991814,2cyclictest13325-21/usr/sbin/munin1
23288991814,2cyclictest10978-21/usr/sbin/munin1
23288991813,3cyclictest7065-21cat1
23288991813,3cyclictest31325-21sh1
23288991813,3cyclictest28367-21expr1
23288991813,3cyclictest27632-21cat1
23288991813,3cyclictest23852-21cat1
23288991813,3cyclictest19010-21/usr/sbin/munin1
2328899181,2cyclictest0-21swapper/11
23288991812,4cyclictest5084-21awk1
23288991811,4cyclictest26576-21cat1
2328399187,10cyclictest9-21ksoftirqd/00
2328399186,10cyclictest9-21ksoftirqd/00
2328399181,5cyclictest0-21swapper/00
2328399181,4cyclictest0-21swapper/00
23283991814,2cyclictest17823-21/usr/sbin/munin0
23283991813,3cyclictest8086-21sed0
23283991813,3cyclictest7752-21cut0
23283991813,3cyclictest665-21runrttasks0
23283991813,3cyclictest4795-21/usr/sbin/munin0
23283991813,3cyclictest31221-21/usr/sbin/munin0
23283991813,3cyclictest29088-21ls0
23283991813,3cyclictest2813-21sed0
23283991813,3cyclictest27760-21sed0
23283991813,3cyclictest26987-21ls0
23283991813,3cyclictest26471-21aten2_r9power_v0
23283991813,3cyclictest26471-21aten2_r9power_v0
23283991813,3cyclictest2542-21grep0
23283991813,3cyclictest16091-21sed0
23283991813,3cyclictest13658-21sed0
23283991813,3cyclictest13159-21latency_hist0
23283991812,4cyclictest9901-21tr0
23283991812,4cyclictest18181-21grep0
2328399181,16cyclictest0-21swapper/00
2329699173,9cyclictest6437-21apt-get3
23296991712,3cyclictest665-21runrttasks3
23296991712,3cyclictest32214-21swap3
23296991712,3cyclictest30411-21needreboot3
23296991712,3cyclictest21675-21if_err_enp2s03
23296991711,4cyclictest21431-21ls3
23288991713,2cyclictest665-21runrttasks1
23288991711,3cyclictest7391-21stty1
2328399176,9cyclictest9-21ksoftirqd/00
2328399173,8cyclictest23949-21apt-get0
2328399173,8cyclictest23949-21apt-get0
2328399171,4cyclictest0-21swapper/00
23283991712,3cyclictest18483-21wc0
2328399171,1cyclictest0-21swapper/00
23283991711,4cyclictest9392-21sed0
23283991711,4cyclictest5190-21sed0
23283991711,4cyclictest4957-21cut0
23283991711,4cyclictest15351-21cat0
2328399170,15cyclictest505-21dbus-daemon0
2328399170,15cyclictest26112-21wc0
23296991611,3cyclictest5308-21cat3
2328399163,7cyclictest27566-21apt-get0
23283991614,1cyclictest0-21swapper/00
23283991614,1cyclictest0-21swapper/00
23283991612,2cyclictest6418-21/usr/sbin/munin0
2328399160,15cyclictest0-21swapper/00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional