You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-18 - 13:21

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot3s.osadl.org (updated Sat Apr 18, 2026 00:45:32)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
53244299107101,4cyclictest0-21swapper/021:55:020
53244299107101,4cyclictest0-21swapper/021:55:010
532442998922,16cyclictest589008-21ssh23:06:070
532442998870,12cyclictest532447-21grep19:10:020
532442998870,12cyclictest532447-21grep19:10:010
532442998522,12cyclictest604178-21ssh23:41:130
53244299841,65cyclictest627995-21ssh00:36:200
53244299821,77cyclictest574343-21ssh22:32:200
532442998124,18cyclictest563708-21ssh22:07:540
532442998017,7cyclictest16850irq/134-800000022:23:220
532442997829,44cyclictest3467602-21systemd-journal23:40:010
532442997822,14cyclictest546420-21ssh21:27:500
532442997814,54cyclictest16850irq/134-800000000:02:230
53244299772,57cyclictest583984-21ssh22:54:540
532442997717,50cyclictest16850irq/134-800000022:16:380
532442997715,52cyclictest16850irq/134-800000021:16:530
53244899761,46cyclictest557839-21ssh21:54:261
53244899761,46cyclictest557839-21ssh21:54:251
532442997617,49cyclictest16850irq/134-800000000:20:170
532448997517,27cyclictest538622-21diskmemload22:40:271
53244299753,18cyclictest612177-21date00:00:030
53244299753,18cyclictest612177-21date00:00:030
532442997525,16cyclictest615812-21ssh00:08:230
532442997525,16cyclictest615812-21ssh00:08:230
532442997522,11cyclictest585571-21ssh22:58:240
532442997522,11cyclictest585571-21ssh22:58:240
532442997518,47cyclictest16850irq/134-800000021:30:350
532442997414,51cyclictest16850irq/134-800000023:48:230
532442997333,35cyclictest16850irq/134-800000022:50:020
53244299732,54cyclictest597443-21ssh23:25:340
532442997320,14cyclictest551559-21ssh21:39:520
532442997319,11cyclictest620134-21ssh00:18:240
532442997315,6cyclictest16850irq/134-800000023:17:390
53244899722,15cyclictest600691-21sshd23:33:211
53244299721,67cyclictest573106-21ssh22:29:360
53244299721,53cyclictest617386-21ssh00:11:550
53244299719,17cyclictest16850irq/134-800000021:23:100
532442997127,40cyclictest0-21swapper/023:20:370
532442997114,52cyclictest16850irq/134-800000022:41:150
532442997112,17cyclictest16850irq/134-800000023:53:280
532450997026,40cyclictest595064-21ls23:20:022
532442997017,48cyclictest16850irq/134-800000022:12:150
532442997017,48cyclictest16850irq/134-800000022:12:140
53244299701,25cyclictest0-21swapper/023:14:480
53244899692,62cyclictest586236-21munin-run23:00:011
53244899692,62cyclictest586236-21munin-run23:00:001
53244899691,17cyclictest562157-21ssh22:04:271
532442996926,39cyclictest555648-21ssh21:49:250
532442996916,6cyclictest16850irq/134-800000021:55:480
532442996817,13cyclictest539110-21ssh21:10:370
53244299681,25cyclictest0-21swapper/022:01:570
53244899672,12cyclictest612061-40mandb00:00:061
53244299679,17cyclictest16850irq/134-800000023:33:390
532442996718,10cyclictest1-21systemd20:55:020
532442996718,10cyclictest1-21systemd20:55:010
53244299671,15cyclictest586744-21ssh23:00:500
532450996636,25cyclictest570866-21sshd22:24:222
53244899662,57cyclictest615293-21ssh00:07:011
53244899662,57cyclictest615293-21ssh00:07:011
532448996621,40cyclictest538622-21diskmemload00:29:041
532448996621,40cyclictest538622-21diskmemload00:29:031
532442996624,13cyclictest553349-21ssh21:44:040
532450996534,25cyclictest1-21systemd00:05:002
532448996526,35cyclictest534463-21latency_hist19:50:021
53244899651,17cyclictest590544-21latency_hist23:10:011
53244299652,5cyclictest577533-21modprobe22:40:000
532450996427,34cyclictest595217-21sh23:20:192
532450996427,33cyclictest536798-21latency_hist20:35:022
532450996424,36cyclictest543197-21sh21:20:032
53244899642,57cyclictest534732-21munin-run19:55:021
53244899642,57cyclictest534732-21munin-run19:55:011
53244899642,18cyclictest616932-21ssh00:10:401
53244899641,59cyclictest568440-21ssh22:18:421
53244899641,59cyclictest546230-21ssh21:27:231
53244899641,17cyclictest558696-21rm21:56:061
53244899641,15cyclictest572017-21ssh22:26:511
53244899641,14cyclictest609193-21sshd23:53:081
53244299644,17cyclictest538633-21modprobe21:10:010
532442996433,28cyclictest16950irq/224-800000020:10:020
532454996337,18cyclictest3467602-21systemd-journal21:25:013
53245099635,20cyclictest625126-21modprobe00:30:012
53245099635,20cyclictest625126-21modprobe00:30:012
53244899631,9cyclictest575880-21ssh22:35:441
53244899631,58cyclictest587818-21ssh23:03:311
53244899631,54cyclictest275-21dbus-daemon20:30:001
53244899631,18cyclictest610188-21ssh23:55:061
53244899631,18cyclictest610188-21ssh23:55:061
53244899631,14cyclictest569859-21ssh22:21:521
53244299631,27cyclictest0-21swapper/000:28:240
53244299631,27cyclictest0-21swapper/000:28:230
53245099622,17cyclictest597917-21ssh23:26:482
53244899622,53cyclictest607220-21rm23:48:291
53244899622,4cyclictest542476-21ssh21:18:441
53244899622,19cyclictest619588-21ssh00:16:571
53244899621,9cyclictest574132-21ssh22:31:391
53244899621,6cyclictest622594-21ssh00:24:071
53244899621,17cyclictest627767-21ssh00:35:421
53244899621,14cyclictest545076-21munin-run21:25:001
532442996224,4cyclictest534974-21latency_hist20:00:010
53245499612,35cyclictest538817-21ssh21:10:033
53244899612,5cyclictest539165-21ssh21:10:451
53244899612,54cyclictest604605-21ssh23:42:191
53244899612,52cyclictest595655-21ssh23:21:271
53244899612,17cyclictest590748-21ssh23:10:031
53244899611,7cyclictest565799-21ssh22:12:381
53244899611,7cyclictest565799-21ssh22:12:371
53244899611,6cyclictest581337-21ssh22:48:341
53244899611,5cyclictest602419-21ssh23:37:171
53244899611,12cyclictest535511-21systemd-run20:10:001
532442996116,8cyclictest627418-21sed00:35:020
53245099603,15cyclictest622908-21modprobe00:24:592
532450996021,35cyclictest30-21ksoftirqd/223:39:592
53245099601,13cyclictest558248-21latency_hist21:55:032
53244899603,51cyclictest364-21snmpd20:01:071
53244899601,8cyclictest594054-21ssh23:18:011
532448996016,40cyclictest532793-21sed19:15:021
53244899601,5cyclictest625363-21ssh00:30:041
53244899601,4cyclictest598363-21ssh23:27:541
532454995934,17cyclictest3467602-21systemd-journal21:05:003
53245099593,9cyclictest536282-21cron20:25:012
53245099593,9cyclictest536282-21cron20:25:002
532450995934,21cyclictest30-21ksoftirqd/221:15:002
532450995927,28cyclictest574569-21sh22:32:522
532450995922,32cyclictest30-21ksoftirqd/223:50:162
53245099592,16cyclictest611729-21ssh23:59:032
53245099592,16cyclictest611729-21ssh23:59:032
532448995927,28cyclictest582172-21sh22:50:091
53244899592,52cyclictest538368-21munin-run21:05:001
53244899592,50cyclictest551268-21sh21:39:121
532448995924,31cyclictest23-21ksoftirqd/121:33:311
53244899591,5cyclictest536296-21munin-run20:25:011
53244899591,5cyclictest536296-21munin-run20:25:001
53244899591,54cyclictest554722-21ssh21:46:591
532454995833,19cyclictest3467602-21systemd-journal22:19:593
53245099583,20cyclictest542989-21wc21:20:022
532450995823,31cyclictest30-21ksoftirqd/200:08:092
532450995823,31cyclictest30-21ksoftirqd/200:08:092
53245099582,17cyclictest561005-21ssh22:01:242
53245099581,14cyclictest564974-21sh22:10:302
53245099581,14cyclictest564974-21sh22:10:292
532448995839,14cyclictest3467602-21systemd-journal20:15:001
53244899582,5cyclictest538595-21sshd21:07:211
53244899581,4cyclictest364-21snmpd20:31:111
53244899581,17cyclictest563278-21ssh22:06:441
53244899581,17cyclictest552383-21rm21:41:241
53244299583,15cyclictest534208-21modprobe19:45:000
53244299582,21cyclictest532653-21unin-run19:15:010
532450995725,28cyclictest30-21ksoftirqd/222:35:562
53245099572,15cyclictest564081-21ssh22:08:472
532450995719,33cyclictest538622-21diskmemload23:12:292
532450995719,33cyclictest309-21in:imuxsock19:45:012
532450995718,35cyclictest538622-21diskmemload22:49:182
532450995717,36cyclictest30-21ksoftirqd/219:40:012
532450995717,36cyclictest30-21ksoftirqd/219:40:012
53245099571,14cyclictest572028-21ssh22:26:532
532448995727,26cyclictest533201-21grep19:25:011
53244899572,50cyclictest364-21snmpd20:16:081
532442995720,12cyclictest1-21systemd19:40:020
532442995720,12cyclictest1-21systemd19:40:010
532450995646,6cyclictest622925-21kworker/2:200:35:122
532450995624,28cyclictest546564-21sh21:28:112
53245099562,16cyclictest555872-21cron21:50:002
532450995618,33cyclictest587996-21rm23:04:052
53245099561,13cyclictest585922-21sendmail-mta22:59:202
53245099561,13cyclictest585922-21sendmail-mta22:59:202
532450995611,11cyclictest600217-1kworker/u9:123:45:042
53244899563,47cyclictest533903-21sshd19:35:371
53244899563,47cyclictest533903-21sshd19:35:361
53244899561,5cyclictest364-21snmpd19:41:021
53245099559,8cyclictest30-21ksoftirqd/222:16:302
53245099553,7cyclictest1-21systemd21:10:012
53245099552,17cyclictest550107-21ssh21:36:052
53245099552,13cyclictest603748-21ssh23:40:082
53245099551,17cyclictest3467602-21systemd-journal20:00:002
53244899552,5cyclictest533432-21munin-run19:30:011
53244899552,5cyclictest364-21snmpd20:41:121
532454995432,18cyclictest3467602-21systemd-journal00:10:013
532454995432,18cyclictest3467602-21systemd-journal00:10:003
53245099542,9cyclictest590534-21latency_hist23:10:022
53245099542,14cyclictest599676-21ssh23:30:482
53245099542,13cyclictest548757-21sh21:33:162
532450995415,35cyclictest548982-1kworker/u9:022:41:392
532450995411,11cyclictest548982-1kworker/u9:021:50:212
53244899542,5cyclictest364-21snmpd20:46:141
53244899542,4cyclictest532912-21munin-run19:20:011
53244899542,46cyclictest537041-21cron20:40:001
53244899541,6cyclictest533685-21munin-run19:35:001
532442995425,7cyclictest12-21ksoftirqd/019:35:000
53245099532,18cyclictest617754-21ssh00:12:482
53245099532,13cyclictest536551-21modprobe20:30:002
532450995319,29cyclictest535504-21grep20:10:012
532450995316,32cyclictest532490-21wc19:10:032
532450995316,32cyclictest532490-21wc19:10:022
532450995314,34cyclictest3467602-21systemd-journal21:55:022
53245099531,14cyclictest619791-21ssh00:17:342
53245099531,14cyclictest533414-21sendmail-mta19:29:192
532448995320,29cyclictest275-21dbus-daemon21:00:011
532454995230,16cyclictest275-21dbus-daemon20:50:013
532450995222,26cyclictest553775-21ssh21:45:022
53245099522,14cyclictest625793-21ssh00:31:122
53245099522,12cyclictest537893-21latency_hist20:55:022
53245099522,12cyclictest537893-21latency_hist20:55:012
53245099521,11cyclictest3467602-21systemd-journal20:41:232
53244899522,5cyclictest534980-21munin-run20:00:001
53244899521,46cyclictest364-21snmpd20:50:331
53244899521,46cyclictest364-21snmpd20:50:331
53244299521,26cyclictest0-21swapper/021:00:010
532454995137,8cyclictest620756-21sh00:20:003
532454995135,10cyclictest537042-21cron20:40:003
532454995131,11cyclictest309-21in:imuxsock20:20:003
532450995123,24cyclictest30-21ksoftirqd/219:20:012
532450995118,29cyclictest536017-21latency_hist20:20:022
532450995111,4cyclictest0-21swapper/222:53:232
53244899512,8cyclictest532497-21sed19:10:031
53244899512,8cyclictest532497-21sed19:10:021
532442995123,8cyclictest12-21ksoftirqd/019:47:350
53245499507,29cyclictest533433-21grep19:30:003
532450995017,29cyclictest3467602-21systemd-journal20:10:022
532450995011,10cyclictest532657-21latency_hist19:15:002
532442995033,13cyclictest3467602-21systemd-journal20:40:000
53244299503,18cyclictest533445-21unin-run19:30:000
532454994937,6cyclictest629439-21sendmail-msp00:40:003
532454994931,13cyclictest577526-21cron22:40:003
53245099492,10cyclictest537042-21cron20:40:012
532450994911,10cyclictest1-21systemd21:00:002
53244299494,17cyclictest536554-21true20:30:010
532454994827,14cyclictest547468-21sort21:30:023
53245099482,14cyclictest538351-21modprobe21:04:222
53245099482,14cyclictest537718-21latency_hist20:50:012
53245099481,10cyclictest534460-21modprobe19:50:002
532442994831,12cyclictest3467718-21lldpd19:25:020
532454994729,14cyclictest275-21dbus-daemon21:40:013
532454994729,14cyclictest1-21systemd21:00:013
532454994727,15cyclictest1-21systemd23:59:593
532454994727,15cyclictest1-21systemd00:00:003
53245499472,4cyclictest131rcu_preempt00:02:183
53245099472,8cyclictest535390-21latency_hist20:05:022
53245099472,13cyclictest534696-21modprobe19:52:232
53245099472,13cyclictest534696-21modprobe19:52:222
532442994722,7cyclictest12-21ksoftirqd/020:50:010
532454994632,10cyclictest364-21snmpd22:46:403
532454994631,11cyclictest37-21ksoftirqd/323:53:573
532454994631,11cyclictest0-21swapper/322:25:023
532454994527,14cyclictest275-21dbus-daemon20:35:013
532454994526,14cyclictest3467602-21systemd-journal22:55:003
53245499451,3cyclictest131rcu_preempt00:23:543
532450994522,20cyclictest30-21ksoftirqd/219:35:022
532450994511,4cyclictest0-21swapper/219:20:032
532442994529,11cyclictest3467602-21systemd-journal19:20:000
532454994425,12cyclictest309-21in:imuxsock23:00:033
53245499442,3cyclictest131rcu_preempt21:47:523
53244299442,37cyclictest537429-21latency_hist20:45:020
53244299441,25cyclictest0-21swapper/020:14:050
532454994330,10cyclictest541364-21sshd21:15:563
532454994329,9cyclictest532889-21cron19:20:003
532454994329,11cyclictest3467602-21systemd-journal19:41:223
532454994327,10cyclictest3467602-21systemd-journal20:00:003
532454994326,12cyclictest309-21in:imuxsock00:34:423
532454994229,9cyclictest275-21dbus-daemon22:45:013
532454994229,11cyclictest37-21ksoftirqd/322:07:203
532454994227,12cyclictest37-21ksoftirqd/323:05:073
532454994221,16cyclictest275-21dbus-daemon23:20:013
532442994233,6cyclictest19350irq/34-mmc121:02:170
532454994131,7cyclictest37-21ksoftirqd/321:44:063
532454994128,9cyclictest605847-21latency_hist23:45:033
532454994125,12cyclictest37-21ksoftirqd/322:12:273
532454994125,12cyclictest37-21ksoftirqd/322:12:273
532454994124,8cyclictest614334-21kworker/3:100:15:013
532454994123,14cyclictest3467602-21systemd-journal23:45:033
532454994123,14cyclictest275-21dbus-daemon22:00:013
53245499411,7cyclictest131rcu_preempt23:25:013
53244299411,27cyclictest0-21swapper/020:31:410
53244299411,26cyclictest0-21swapper/020:23:180
53244299411,26cyclictest0-21swapper/020:23:170
53245499404,28cyclictest533183-21cut19:25:013
53245499403,27cyclictest534527-21cat19:50:023
532454994026,10cyclictest275-21dbus-daemon23:35:013
532454994022,13cyclictest0-21swapper/319:55:003
532454994022,13cyclictest0-21swapper/319:55:003
532454994021,12cyclictest0-21swapper/323:00:023
532454994021,12cyclictest0-21swapper/323:00:013
53244299401,27cyclictest0-21swapper/020:18:410
53244299401,26cyclictest0-21swapper/019:51:020
53244299401,26cyclictest0-21swapper/019:51:010
532454993927,6cyclictest37-21ksoftirqd/323:25:123
532454993829,5cyclictest623160-21sh00:25:063
532454993829,5cyclictest623160-21sh00:25:053
532454993826,9cyclictest37-21ksoftirqd/321:14:363
532454993824,11cyclictest37-21ksoftirqd/321:50:563
532454993824,11cyclictest37-21ksoftirqd/321:50:563
532454993820,13cyclictest1-21systemd20:25:013
532454993820,13cyclictest1-21systemd20:25:013
53245499373,4cyclictest131rcu_preempt22:26:343
532454993727,6cyclictest120-21kswapd023:15:033
532454993725,9cyclictest535489-21cron20:10:013
532454993724,10cyclictest575436-21wc22:35:013
532454993722,11cyclictest37-21ksoftirqd/322:04:513
532454993712,19cyclictest275-21dbus-daemon20:45:013
532454993711,17cyclictest533444-21kworker/3:120:25:023
53245499367,24cyclictest603464-21munin-plugin-st23:40:003
53245499365,8cyclictest0-21swapper/321:33:273
53245499357,18cyclictest533934-21modprobe19:40:013
53245499357,18cyclictest533934-21modprobe19:40:003
532454993425,7cyclictest37-21ksoftirqd/320:50:513
532454993425,7cyclictest37-21ksoftirqd/320:50:503
532454993422,8cyclictest37-21ksoftirqd/320:05:013
532454993421,10cyclictest37-21ksoftirqd/319:15:013
532442993423,8cyclictest12-21ksoftirqd/020:03:220
532454993223,7cyclictest37-21ksoftirqd/320:15:013
532454992816,10cyclictest37-21ksoftirqd/319:34:013
532454992719,6cyclictest0-21swapper/319:10:013
532454992719,6cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional