You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-10 - 06:20

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackeslot3s.osadl.org (updated Wed Jun 10, 2026 00:45:28)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
69678199862,7cyclictest750326-21munin-run22:55:010
69678199807,8cyclictest0-21swapper/022:15:020
696781997917,46cyclictest16850irq/134-800000023:55:010
696781997625,47cyclictest702996-21diskmemload23:39:590
696781997617,6cyclictest16850irq/134-800000021:34:240
696781997612,5cyclictest16850irq/134-800000000:14:270
696785997519,16cyclictest753976-21ssh23:02:541
696781997518,37cyclictest16850irq/134-800000023:34:340
696781997518,37cyclictest16850irq/134-800000023:34:340
696781997416,16cyclictest794196-21ssh00:32:230
696781997223,42cyclictest797441-21cron00:40:000
696781997223,42cyclictest797441-21cron00:40:000
696781997223,31cyclictest742039-21ssh22:36:200
696781997223,31cyclictest742039-21ssh22:36:190
696781997221,47cyclictest729461-21ssh22:08:350
69678199721,65cyclictest759361-21cat23:15:020
696781997120,34cyclictest718593-21ssh21:44:360
696781997113,5cyclictest16850irq/134-800000000:21:440
696781997112,13cyclictest762166-21ssh23:20:570
696781997112,13cyclictest762166-21ssh23:20:570
696785997019,14cyclictest786345-21sed00:15:011
69678199702,15cyclictest704955-21ssh21:14:140
696781997018,48cyclictest774935-21ssh23:50:010
696785996918,20cyclictest720805-21sh21:49:321
69678199693,25cyclictest788500-21munin-plugin-st00:20:000
69678199693,25cyclictest788500-21munin-plugin-st00:19:590
69678199682,17cyclictest743875-21ssh22:40:230
696781996821,44cyclictest12-21ksoftirqd/021:28:570
696781996821,43cyclictest0-21swapper/022:16:000
69678199681,63cyclictest0-21swapper/023:01:000
696781996813,48cyclictest309-21in:imuxsock23:29:590
696785996716,15cyclictest714236-21ssh21:35:001
696785996715,18cyclictest717173-21ssh21:41:011
696785996713,13cyclictest723750-21rm21:55:441
696785996625,31cyclictest689472-21kworker/1:219:50:011
696785996619,12cyclictest0-21swapper/122:22:001
696785996614,16cyclictest795278-21unin-run00:35:001
696781996626,36cyclictest759780-21ssh23:15:380
696781996618,44cyclictest724555-21ssh21:57:460
696785996527,12cyclictest790231-21ssh00:23:451
696791996414,12cyclictest37-21ksoftirqd/300:35:333
696791996414,12cyclictest37-21ksoftirqd/300:35:323
696785996415,14cyclictest729660-21rm22:09:021
696781996424,24cyclictest715602-21ssh21:37:530
69678199642,15cyclictest697522-21munin-run19:25:010
69678199642,14cyclictest702757-21munin-run21:05:010
696781996416,17cyclictest747985-21ssh22:49:450
696781996416,17cyclictest747985-21ssh22:49:440
696781996413,13cyclictest755751-21ssh23:06:520
696781996317,41cyclictest779473-21tr00:00:000
69678199631,58cyclictest0-21swapper/023:44:200
696781996315,44cyclictest16850irq/134-800000022:02:010
696781996314,11cyclictest782012-21ssh00:05:160
696785996218,12cyclictest0-21swapper/121:54:571
696785996217,14cyclictest749230-21ssh22:52:191
69678199621,56cyclictest0-21swapper/022:33:580
696781996215,43cyclictest719487-21ssh21:46:130
69678199621,10cyclictest703096-21latency_hist21:10:010
696791996124,7cyclictest37-21ksoftirqd/323:32:213
696791996124,7cyclictest37-21ksoftirqd/323:32:213
696788996149,6cyclictest774928-21kworker/2:000:10:012
696785996117,14cyclictest774374-21sh23:48:361
696785996117,14cyclictest715078-21sh21:36:331
69678199619,9cyclictest48-21kcompactd022:27:040
69678199619,9cyclictest48-21kcompactd022:27:030
696781996129,28cyclictest16950irq/224-800000000:04:340
696781996124,33cyclictest699047-21latency_hist19:55:030
696781996122,33cyclictest16950irq/224-800000021:20:000
69678199612,20cyclictest702473-21systemctl21:00:000
69678199612,13cyclictest700608-21sshd20:24:300
696781996116,17cyclictest702996-21diskmemload21:55:000
69678199611,2cyclictest0-21swapper/021:22:080
696791996025,10cyclictest131rcu_preempt23:59:593
696791996015,11cyclictest37-21ksoftirqd/321:48:583
696785996018,13cyclictest738291-21ssh22:28:101
696785996018,13cyclictest738291-21ssh22:28:091
696785996017,14cyclictest795952-21ssh00:36:141
696785996017,14cyclictest795952-21ssh00:36:141
696785996015,16cyclictest756156-21ssh23:07:471
696781996028,27cyclictest3467602-21systemd-journal20:50:010
69678199602,15cyclictest701710-21munin-run20:45:000
696781996021,35cyclictest16850irq/134-800000000:30:010
696781996021,35cyclictest16850irq/134-800000000:30:000
696781996020,36cyclictest734981-21ssh22:20:240
69678199601,55cyclictest751220-21rm22:56:440
69678199601,55cyclictest751220-21rm22:56:430
696791995914,12cyclictest37-21ksoftirqd/322:30:453
696788995951,5cyclictest774928-21kworker/2:000:20:172
696788995948,7cyclictest774928-21kworker/2:000:40:002
696788995948,7cyclictest774928-21kworker/2:000:39:592
696785995938,16cyclictest744518-21ssh22:41:511
69678199595,46cyclictest0-21swapper/020:35:000
69678199592,13cyclictest699299-21modprobe20:00:000
69679199584,18cyclictest784204-21sed00:10:033
696788995850,5cyclictest774928-21kworker/2:023:55:002
696785995841,13cyclictest731234-21ssh22:12:211
696785995838,14cyclictest741737-21ssh22:35:391
696785995838,14cyclictest741737-21ssh22:35:381
69678199582,9cyclictest697755-21modprobe19:30:000
69678199582,51cyclictest0-21swapper/020:40:000
696781995815,11cyclictest12-21ksoftirqd/019:15:000
696785995740,14cyclictest703629-21ssh21:10:551
696785995737,15cyclictest762011-21ssh23:20:361
696785995737,15cyclictest762011-21ssh23:20:361
696781995723,30cyclictest702301-21latency_hist20:55:010
69678199572,16cyclictest696818-21latency_hist19:10:020
69678199571,15cyclictest3467602-21systemd-journal19:35:000
696788995648,5cyclictest690262-21kworker/2:223:00:522
696788995647,6cyclictest703017-21kworker/2:322:17:452
696788995647,5cyclictest774928-21kworker/2:000:16:152
696788995647,5cyclictest774928-21kworker/2:000:16:142
696785995637,15cyclictest765549-21ssh23:28:541
696785995635,17cyclictest781020-21ssh00:03:141
696785995634,18cyclictest739513-21ssh22:30:451
696785995618,12cyclictest709115-21diskmemload21:23:191
696781995620,32cyclictest0-21swapper/020:05:040
696781995620,31cyclictest0-21swapper/019:16:280
69679199554,15cyclictest729762-21ssh22:09:243
69679199554,14cyclictest725239-21ssh21:59:273
696791995517,8cyclictest37-21ksoftirqd/321:34:283
696788995547,5cyclictest703017-21kworker/2:323:13:362
696788995543,7cyclictest690262-21kworker/2:221:38:312
69678599558,16cyclictest696883-21cat19:10:011
696785995535,16cyclictest771161-21ssh23:41:001
696785995535,16cyclictest759691-21ssh23:15:281
696785995535,16cyclictest751979-21ssh22:58:381
696785995535,16cyclictest751979-21ssh22:58:371
696785995535,16cyclictest733084-21ssh22:16:271
696785995534,17cyclictest779500-21munin-run00:00:021
696785995534,17cyclictest766430-21ssh23:30:321
696785995534,17cyclictest766430-21ssh23:30:311
696785995518,10cyclictest0-21swapper/122:47:501
696785995518,10cyclictest0-21swapper/122:47:491
696785995517,12cyclictest776455-21ssh23:53:061
69678199553,11cyclictest698559-21unin-run19:45:000
69678199551,13cyclictest364-21snmpd20:18:210
696791995410,8cyclictest37-21ksoftirqd/300:11:073
696788995445,6cyclictest690262-21kworker/2:223:17:062
696788995445,5cyclictest774928-21kworker/2:000:12:112
696788995445,5cyclictest774928-21kworker/2:000:00:012
696788995445,5cyclictest690262-21kworker/2:222:52:152
696788995445,5cyclictest690262-21kworker/2:221:43:112
696785995439,12cyclictest758624-21ssh23:13:241
696785995438,13cyclictest726526-21ssh22:01:581
696785995437,14cyclictest711803-21sshd21:29:291
696785995437,13cyclictest698026-21munin-run19:35:011
696785995435,15cyclictest787541-21ssh00:17:421
696785995435,15cyclictest787541-21ssh00:17:411
696785995434,17cyclictest770226-21ssh23:39:201
696785995434,16cyclictest791480-21ssh00:26:121
696785995434,16cyclictest791480-21ssh00:26:121
696785995434,16cyclictest705971-21ssh21:16:091
696785995433,17cyclictest782438-21ssh00:06:141
69678199546,8cyclictest0-21swapper/020:15:000
69678199542,17cyclictest700940-21unin-run20:30:010
696788995345,5cyclictest703017-21kworker/2:321:59:562
696788995344,6cyclictest690262-21kworker/2:221:14:132
696788995344,5cyclictest703017-21kworker/2:322:31:542
696788995344,5cyclictest690262-21kworker/2:223:33:432
696788995344,5cyclictest690262-21kworker/2:223:33:422
696788995343,6cyclictest774928-21kworker/2:000:25:262
696788995343,6cyclictest774928-21kworker/2:000:25:252
696788995343,6cyclictest774928-21kworker/2:000:00:262
696785995339,10cyclictest699801-21sshd20:06:291
696785995310,14cyclictest0-21swapper/120:41:371
69678199532,12cyclictest1-21systemd19:50:010
696791995212,8cyclictest37-21ksoftirqd/323:15:003
696788995244,5cyclictest703017-21kworker/2:321:52:472
696788995244,5cyclictest690262-21kworker/2:223:27:112
696788995244,5cyclictest690262-21kworker/2:222:59:102
696788995244,5cyclictest690262-21kworker/2:222:59:102
696788995243,6cyclictest703017-21kworker/2:322:26:162
696788995243,6cyclictest703017-21kworker/2:322:26:152
696788995243,6cyclictest690262-21kworker/2:221:28:542
696788995243,5cyclictest703017-21kworker/2:322:12:382
696788995242,6cyclictest690262-21kworker/2:222:35:512
696788995242,6cyclictest690262-21kworker/2:222:35:502
696791995122,8cyclictest37-21ksoftirqd/322:56:003
696791995122,8cyclictest37-21ksoftirqd/322:55:593
696791995113,7cyclictest37-21ksoftirqd/300:01:433
696788995144,4cyclictest703017-21kworker/2:322:04:042
696788995142,6cyclictest690262-21kworker/2:222:45:562
696788995142,6cyclictest690262-21kworker/2:222:45:562
696788995142,6cyclictest690262-21kworker/2:221:23:362
696788995142,5cyclictest690262-21kworker/2:223:06:442
696788995142,5cyclictest690262-21kworker/2:220:00:012
696785995137,10cyclictest701924-21sshd20:45:301
696781995113,11cyclictest3467602-21systemd-journal20:10:010
69679199504,14cyclictest0-21swapper/321:05:013
696791995015,9cyclictest37-21ksoftirqd/323:37:593
696791995011,9cyclictest37-21ksoftirqd/323:23:493
696791995011,9cyclictest37-21ksoftirqd/323:23:483
696791995011,7cyclictest37-21ksoftirqd/320:05:043
696788995043,5cyclictest690262-21kworker/2:221:16:252
696788995042,5cyclictest703017-21kworker/2:321:45:052
696788995042,5cyclictest703017-21kworker/2:321:34:272
696788995042,5cyclictest690262-21kworker/2:223:43:002
696788995042,5cyclictest690262-21kworker/2:223:38:352
696788995042,5cyclictest690262-21kworker/2:223:23:172
696788995042,5cyclictest690262-21kworker/2:223:23:172
696788995042,5cyclictest690262-21kworker/2:222:45:012
696788995041,6cyclictest774928-21kworker/2:000:30:212
696788995041,5cyclictest681253-21kworker/2:019:15:012
696785995040,7cyclictest364-21snmpd21:06:421
696785995037,10cyclictest697208-21sshd19:18:281
69679199496,7cyclictest757874-21kworker/u8:423:40:463
696791994911,8cyclictest37-21ksoftirqd/321:26:493
696791994911,8cyclictest0-21swapper/321:44:363
696788994941,5cyclictest703017-21kworker/2:322:06:562
696785994935,11cyclictest364-21snmpd20:56:401
696785994935,10cyclictest697737-21sshd19:27:291
696785994933,11cyclictest698546-21munin-run19:45:011
696791994831,12cyclictest3467602-21systemd-journal21:10:003
696791994810,8cyclictest37-21ksoftirqd/322:28:113
696791994810,8cyclictest37-21ksoftirqd/322:28:103
696788994840,5cyclictest690262-21kworker/2:223:47:012
696788994840,5cyclictest690262-21kworker/2:220:31:542
696788994839,5cyclictest703017-21kworker/2:322:20:312
696788994838,6cyclictest690262-21kworker/2:219:55:002
696788994835,9cyclictest3467602-21systemd-journal20:19:302
696785994835,10cyclictest700601-21sshd20:22:301
696785994835,10cyclictest364-21snmpd21:01:421
696785994829,14cyclictest364-21snmpd20:30:441
696785994828,15cyclictest3467602-21systemd-journal19:40:001
696791994716,7cyclictest37-21ksoftirqd/321:52:553
696788994739,5cyclictest690262-21kworker/2:220:55:022
696788994739,5cyclictest690262-21kworker/2:219:35:032
696788994738,5cyclictest690262-21kworker/2:220:59:052
696785994735,9cyclictest696940-21sshd19:11:451
696785994735,9cyclictest3467602-21systemd-journal19:58:481
696785994734,10cyclictest364-21snmpd20:51:391
696785994726,17cyclictest700056-21sshd20:11:501
696785994723,19cyclictest701585-21latency_hist20:40:031
696791994631,12cyclictest37-21ksoftirqd/322:40:013
696791994631,12cyclictest37-21ksoftirqd/322:40:003
696791994613,8cyclictest0-21swapper/320:30:003
696791994611,7cyclictest37-21ksoftirqd/323:10:013
696791994611,5cyclictest0-21swapper/300:30:323
696788994636,6cyclictest690262-21kworker/2:219:40:162
69679199458,7cyclictest37-21ksoftirqd/322:10:283
69679199453,6cyclictest37-21ksoftirqd/322:54:133
696791994527,14cyclictest734564-21systemctl22:19:593
696791994512,8cyclictest37-21ksoftirqd/321:21:333
696791994510,10cyclictest0-21swapper/321:16:383
696788994537,5cyclictest690262-21kworker/2:219:45:332
696788994537,5cyclictest690262-21kworker/2:219:37:222
696788994529,11cyclictest1-21systemd20:10:002
696785994532,10cyclictest364-21snmpd20:01:281
69678199453,10cyclictest698275-21grep19:40:000
696791994429,11cyclictest1-21systemd20:40:013
696791994425,14cyclictest1-21systemd00:20:013
696791994425,14cyclictest1-21systemd00:20:013
69679199440,15cyclictest702996-21diskmemload21:36:273
696788994435,6cyclictest690262-21kworker/2:221:05:082
696785994427,13cyclictest699051-21munin-run19:55:001
69679199436,8cyclictest37-21ksoftirqd/300:25:003
69679199436,7cyclictest37-21ksoftirqd/323:26:333
69679199432,6cyclictest761605-21grep23:20:023
696791994322,17cyclictest743825-21ssh22:40:053
696791994316,19cyclictest0-21swapper/300:28:473
696791994316,19cyclictest0-21swapper/300:28:473
696791994313,6cyclictest131rcu_preempt22:50:013
696791994313,6cyclictest131rcu_preempt22:50:003
696791994311,13cyclictest736035-21ssh22:23:123
696791994310,6cyclictest0-21swapper/323:03:483
696788994334,5cyclictest690262-21kworker/2:220:27:502
696785994329,9cyclictest364-21snmpd19:20:271
69679199425,4cyclictest131rcu_preempt21:11:473
69679199421,12cyclictest37-21ksoftirqd/323:54:573
696788994234,5cyclictest690262-21kworker/2:220:13:292
696788994211,6cyclictest131rcu_preempt20:05:012
696785994235,4cyclictest700899-21sshd20:27:311
696785994228,10cyclictest364-21snmpd20:19:021
69679199416,5cyclictest131rcu_preempt23:45:033
696791994130,8cyclictest37-21ksoftirqd/322:03:463
696791994128,10cyclictest701930-21sshd20:46:553
69678899417,11cyclictest30-21ksoftirqd/220:38:412
696788994134,4cyclictest690262-21kworker/2:220:42:212
696788994134,4cyclictest690262-21kworker/2:220:21:332
696788994133,5cyclictest690262-21kworker/2:220:46:382
696788994133,5cyclictest690262-21kworker/2:219:17:322
696788994132,5cyclictest690262-21kworker/2:221:05:002
696788994127,11cyclictest3467602-21systemd-journal19:27:282
696791994029,7cyclictest698798-21munin-plugin-st19:49:593
696788994032,5cyclictest690262-21kworker/2:219:21:012
696791993928,7cyclictest37-21ksoftirqd/320:15:013
696791993923,11cyclictest700638-21munin-run20:25:013
696791993828,7cyclictest697230-21cron19:20:003
696791993826,9cyclictest697567-21wc19:25:023
696791993826,9cyclictest3467602-21systemd-journal19:40:023
696791993825,10cyclictest696934-21sshd19:10:283
696791993823,11cyclictest699583-21munin-run20:05:003
69679199378,24cyclictest701712-21cut20:44:593
696791993730,4cyclictest700349-21latency_hist20:20:003
696791993723,10cyclictest702446-21sshd20:59:313
696791993723,10cyclictest697989-21sshd19:32:273
696791993721,12cyclictest699208-21cat19:55:023
69679199365,7cyclictest37-21ksoftirqd/320:33:303
696791993621,11cyclictest702356-21sort20:55:023
696791993621,10cyclictest48-21kcompactd019:39:133
69679199361,15cyclictest0-21swapper/319:57:153
696791993426,5cyclictest309-21in:imuxsock19:30:013
696788993422,10cyclictest30-21ksoftirqd/219:10:022
696791993121,6cyclictest37-21ksoftirqd/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional